Adobe即将推出基于Firefly的生成式AI视频工具

据路透社周一（4月24）报道，Adobe宣布计划在Premiere Pro和After Effects中加入AI视频合成工具。这是继上周宣布人工智能驱动的基于文本的视频编辑将于5月进入Premiere Pro之后的又一消息。

Adobe的生成式视频效果将由Adobe Firefly提供。Firefly是一种图像合成模式，此前我们已经介绍过，它将扩展到包括视频和音频生成工具。Premiere Pro是Adobe的旗舰视频编辑应用程序，是组装电视节目和好莱坞电影的流行行业工具。

目前，执行某些特殊效果或编辑任务可能是劳动密集型的。Adobe旨在通过生成式AI的协助来简化这一过程。在其博客上发布的演示影片中，Adobe展示了 “Firefly for Video” 生成背景音乐、生成声音效果、改变视频中的视觉季节、对 “molten”一词生成视觉效果、定位并提亮一个人的脸，以及通过文本命令生成音频脚本。

在其宣传博客中，Adobe提到了我们可能期望从其新的人工智能工具中获得的功能，包括上面列出的一些功能（如生成声音效果和音乐），但也包括基于文本的颜色增强、文本和标志动画、自动故事板创建和创新 “co-pilots”，据称这些工具可以生成如何帮助用户掌握编辑技能。

如果这些基于文本的视频编辑工具看起来很熟悉，那是因为Runway在9月预告了类似的功能，尽管Runway还没有以预告中的保真度兑现这些承诺。同样，在产品发布之前，对Adobe的营销视频持谨慎态度可能是明智的。

(只有时间才能告诉我们，Adobe Firefly是否能够生成威尔-史密斯吃意大利面条的视频，并与开源视频合成模型ModelScope设计的杰作相媲美）。

在上周的一个单独但相关的公告中，Adobe宣布它正在将基于文本的视频编辑整合到Adobe Premiere Pro中，这将允许编辑根据自动检测到的从视频剪辑中提取的语音脚本来修剪和重新安排视频。以下是Adobe对该功能的描述：

Premiere Pro是唯一的专业编辑软件，纳入了基于文本的编辑，通过使视频编辑像复制和粘贴文本一样简单，彻底改变了创作者的工作方式。在Adobe Sensei的支持下，基于文本的编辑可以自动分析和转录片段，因此编辑、制作人和助理可以简单地将句子复制和粘贴到他们想要的任何顺序，并立即看到它们出现在时间线上。转录本可以在转录窗口中进行搜索，以确定准确的单词和短语。

Adobe最初在10月预览了类似的基于文本的视频编辑能力，作为 “Blink项目 “的一部分，尽管现在Adobe说这些功能来自其 “Adobe Sensei” 框架。目前还不清楚这种区别是技术上的还是仅仅是品牌上的。值得注意的是，一家名为Descript的公司为视频和播客编辑提供了类似的功能。

Adobe说它的视频Firefly功能将在 “今年晚些时候” 开始推出，同时还允许人们注册试用Firefly，它目前正在进行封闭测试。同时，Adobe承诺，基于文本的视频编辑将于5月进入Adobe Premiere Pro。