初创公司Stability AI专注于开发人工智能(AI)产品,最近发布了一款令人期待的AI模型——Stable Video Diffusion。这款模型的独特之处在于,它能够通过现有的静态图片生成高质量的视频,是基于之前发布的Stable Diffusion文本转图片模型的延伸。目前市面上能够生成视频的AI模型相对较少,因此Stable Video Diffusion引起了广泛关注。
然而,需要注意的是,Stable Video Diffusion目前并不对所有人开放。它目前处于Stability AI所谓的“研究预览”阶段。想要使用这款模型的人必须同意一些使用条款,其中规定了Stable Video Diffusion的预期应用场景(例如“教育或创意工具”、“设计和其他艺术过程”等)以及非预期的场景(例如“对人或事件的事实或真实的表达”)。
Stable Video Diffusion实际上由两个模型组成:SVD和SVD-XT。SVD可以将静态图片转化为14帧的576×1024像素视频,而SVD-XT则使用相同的架构,但将帧数提高到24。两者都能以每秒3到30帧的速度生成视频。
根据Stability AI发布的白皮书,SVD和SVD-XT最初是在一个包含数百万视频的数据集上进行训练的,然后在一个规模较小的数据集上进行了“微调”,这个数据集只有几十万到一百万左右的视频片段。虽然这些视频的来源并不十分清楚,但白皮书暗示许多是来自公开的研究数据集,因此无法判断是否存在版权问题。
尽管Stable Video Diffusion还存在一些局限性,Stability AI对此也很坦诚。例如,这些模型不能生成没有运动或缓慢摄像机平移的视频,也不能通过文本进行控制,也不能渲染文字(至少不能清晰地渲染),也不能一致地“正确地”生成人脸和人物。
虽然目前还处于早期阶段,但Stability AI指出这些模型非常具有扩展性,可以适应诸如生成物体的360度视图等用例。最终,Stability AI的目标是将Stable Video Diffusion商业化,称其在“广告、教育、娱乐等领域”都有潜在的应用。这一新颖的AI模型无疑将为视频生成领域带来新的可能性。
原创文章,作者:AI,如若转载,请注明出处:https://www.kejixun.com/article/597666.html