Runway、Stability AI 、Pika 纷纷放大招，AI视频神仙打架！

扫一扫
官方手机版

扫一扫
AI创作程序

扫一扫
木子公众号

扫一扫
AI公众号

Runway、Stability AI、Pika 纷纷放大招，最近的 AI 视频真是神仙打架！大家好我是花生~

前段时间刚给大家介绍过 LCM 技术 和 AI 绘画 实时生成 的相关内容，没想到紧接着 AI 视频领域又迎了一波重大更新，真是令人应接不暇。今天就为大家仔细盘点一下近期几个主流 AI 视频工具的发展动态，让你轻松跟上 AI 潮流~

相关推荐：

颠覆传统工作流！Krea AI 的实时生成功能究竟有多疯狂？

大家好，这里是和你们一起探索 AI 绘画的花生~上周为大家介绍了 LCM 技术，它可以在 3 秒内生成 4 张图像，速度惊人；文章内还有 2 个视频，显示了依靠 LCM 实现图像实时生成的效果，视频内用到的工具就是 Krea AI。

一、Runway

先说 Runway ，之前已经带大家了解过它的相关功能，包括文本/图像转视频（Gen2-）,视频风格化（Gen-1）和视频帧差值，此外它的功能还包括文生图、图生图、一键扣除视频背景、抹除视频指定元素等，可以说是目前最强的 AI 视频生成&编辑工具。

Runway 网站直达： https://app.runwayml.com/

Runway 网站主页

midjourney 生成的图像

用 Runway 将图像转为视频，内容来源: https://twitter.com/i/status/1683183085808934912

自 6 月份文本/图像转视频功能上线以来，Runway 一直都在努力提升视频生成的质量和可控性。8 月份的时候， 它的视频时长由 4 秒增加至 18 秒，并且新增了「Motion Slider 运动滑块 」功能，让用户可以控制视频的动态强度。

不同动态数值的效果对比。视频来源： https://twitter.com/i/status/1696868501397426187

9 月份的时候上线了「Camera Motion 相机运动 」功能，让用户可以控制镜头的运动方向，包括水平左移、水平右移、垂直上移、垂直下移、顺时针旋转、逆时针旋转、镜头推进和镜头拉远。这让视频生成的可控性得到提升，也让 AI 制作电影短片成为可能。

镜头前推，来源： https://twitter.com/i/status/1727856162526441853

镜头左移，来源： https://twitter.com/i/status/1728403369813757982

就在前几天，Runway 上线了重磅新功能「Motion Brush 运动笔刷 」，我们只需在图像上涂抹一个区域，就能将其变为动态内容。这种局部处理的方式一方面让内容控制能精确灵活，另一方面区域之外的部分仍保持静态，从而减轻了图生视频中常见的画面扭曲问题，在处理效率变高的同时也让整体效果也更逼真，是非常聪明且实用的新功能。

Motion Brush 演示，来源： https://twitter.com/i/status/1728129678395994384

Runway 网站支持 QQ 邮箱注册，新用户有 105 秒的免费生成额度，可以生成大约 20 个短视频，大家可以去官网体验一下这些新功能。

除了提升视频生成质量，Runway 也一直在推动 AI 视频生态的发展完善。它去年举办了首届 AI 电影节（AIFF），邀请全球艺术家使用最新的 AI 技术制作创意短视频，目前第二届正在接受投稿。前段时间还举办了一个为期 2 天的 AI 短视频竞赛 Gen-48，向全球用户征集用 Runway 生成的优质短视频，目前已经评选结果已经在官网公布，我看了一下都非常精彩。

AI 电影节官网： https://aiff.runwayml.com/

Gen-48 官网： https://gen48.runwayml.com/winners

Runway 最近还推出了线上电视频道 Runway TV，24 小时循环播放由 AI 制作的视频，可以看出官方对 AI 视频发展的重视和信心。也非常推荐大家去看看这些 AI 视频，真的会让人感叹 AI 技术发展的迅速和艺术家创意的精彩，从中我们也能一瞥未来视频制作流程的雏形。

Runway TV 链接直达： Runway TV

二、Stable Video Diffusion

AI 视频领域近期另一个重磅更新就是 Stability AI 推出的 Stable Video Diffusion 模型，同样可以通过文本或图像生成高质量的视频。

Stable Video Diffusion 介绍： https://stability.ai/news/stable-video-diffusion-open-ai-video-model

Stable Video Diffusion （下面简称 SVD）之所以这么受关注，一方面是因为它是开源模型，大家可以免费使用；另一方面则是它的生成效果非常好，下面是几个用 SVD 将图像转为动图的例子，视频清晰度很高，画面也很稳定，整体表现并不亚于目前最火的 Runway。

来源： https://twitter.com/i/status/1727046123742007455

来源： https://twitter.com/i/status/1727085648014917688

来源： https://twitter.com/i/status/1729009760677044628

SVD 的功能虽然强大，也可以部署到本地，但是对配置的有要求，如果想在本地生成清晰的视频，至少要 16G 的显存，这对我们普通用户来说门槛还是比较高的。但开源模型的好处就是一旦出现了，总会有大神为我们铺好道路，让高大上的工具变得触手可及。SVD 推出到现在不过一个星期，就已经出现了好几种免费使用方式，这里分享 2 个比较可靠的在线工具给大家：

① Replicate

链接直达： stability-ai/stable-video-diffusion – Run with an API on Replicate

这是 Stability AI 官方部署的线上试用页面，可以将用户上传的图像转为视频，支持调整视频帧数、动态强度、视频画幅、帧率等参数。

② Stable-Video-Diffusion.com

链接直达： https://huggingface.co/spaces/multimodalart/stable-video-diffusion

这是第一个专门围绕 SVD 构建的网站，上传图像就能生成视频。生成效果同样不错，但人多的时候需要排队，使用时记得过一两分钟就刷新一下界面，看看视频是否完成。

相关推荐：

Pika！又一个AI短视频生成神器，免费使用！

大家好，这里是和你们一起探索 AI 的花生~之前为大家推荐过一款知名的 AI 视频生成工具 Runway，它的 Gen-2 模型可以直接根据文本生成视频，效果稳定。

三、Pika

最后再来看一下 Pika ，今年 7 月份的时候给大家介绍过 Pika 了，它是继 Runway 之后又一款比较受关注的 AI 视频生成工具，支持文生图和图生图，被称为“视频版 Midjourney”。目前它的服务依旧托管在 Discord 中，新用户可以免费体验。

Pika 官网直达： https://www.pika.art/

Pika 生成的视频

过去的几个月 Pika 也更新了不少功能，包括支持控制动态强度和镜头运动方式，支持调节视频画幅和帧率，可以用反向提示词控制视频内容，以及用带文字或 logo 的垫图来引导视频的生成，总体来说和 Runway 非常类似。

视频来源： https://twitter.com/i/status/1706028424979239249

昨天，Pika 官方发布了 Pika 1.0，支持根据文本生成 3D 动画、动漫、卡通和电影风格的视频，质量非常稳定，并且还支持调整视频细节，比如修改画幅比例，给人物换装，在画面局部生成元素等，用户注册后可以免费体验。感觉 Pika 也是在努力探索一条差异化的发展道路，避免与 Runway 的功能上完全重合。

当视频无法加载时请刷新页面，
或前往PC获得最佳体验。

好啦以上就是近期 AI 视频的发展动向，大家感兴趣的话可以去体验一下它们的生成效果。喜欢本期内容的话记得点赞收藏支持一波，之后会继续为大家带来更多 AI 绘画干货知识~ 也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”，和我及其他 设计师 一起交流学习 AI 知识。

另外，我最新制作的《AI 绘画入门完全指南》已经上线，这是针对零基础人群的 AI 绘画入门课程，可以帮你快速掌握目前最热门的 2 款 AI 绘画工具 Midjourney 和 Stable Diffusion，说不定之后你也可以用它们结合这些 AI 视频工具，探索出更多有趣的 AI 玩法。

课程链接： 零基础 AI 绘画入门完全指南 (uisdc.com) （录播+课程群辅导）

推荐阅读：

想把图像变成动图/视频？这5款AI神器帮你轻松搞定！

大家好，这里是你们的 AI 神器挖掘机花生~今天为大家推荐 5 款可以将图像转换为动图或者短视频的 AI 神器，它们都是在线工具，操作简单还可以免费使用，可以让静态图像更具吸引力，适合用来生成动态海报或创意短视频~上期回顾：一、LeiaPix Converter网站直达：

效率暴涨！5 款设计师必备的 Stable Diffusion WebUI 模型（四）

大家好，这里是和你们一起探索 AI 绘画的花生~今天继续为大家推荐 5 款优质的设计类 Stable Diffusion WebUI 模型 ，包含春节插画、3D 电商场景、中式花草元素、商业扁平插画等。