还记得昨天我们探索了ComfyUI的绘画世界吗？今天我们进入一个更刺激的领域——AI视频生成。
如果说AI绘画是”画一幅画”，那AI视频就是”导一部电影”。而Runway和Pika，就是当前最火的两位”AI导演”。
为什么AI视频突然火了？
2024年，Sora的预告片震惊了全世界。但在Sora正式开放之前，Runway和Pika已经让普通人能做出令人惊叹的短视频了。
AI视频的核心能力：
- 文生视频：输入一段文字描述，AI自动生成视频片段
- 图生视频：上传一张图片，让画面”动起来”
- 视频续写：给AI一段已有视频，让它继续往下发展
- 风格迁移：把真实视频转成动画、油画等风格
这些能力组合起来，意味着你不需要摄影机、演员、后期团队，一个人就能做出概念短片。
Runway：专业级AI视频工具
Runway是AI视频领域的”老牌选手”，从最早的Stable Diffusion集成，到现在的Gen-3 Alpha，一直在进化。
Runway的核心功能：
文生视频（Text to Video）
输入提示词，比如”一只金色的猫在夕阳下的海滩上奔跑，电影质感”，Runway会生成4-16秒的视频片段。
图生视频（Image to Video）
这是最实用的功能。你可以：
- 上传一张AI生成的插画，让它变成动画
- 上传一张产品照片，让产品”旋转展示”
- 上传一张风景照，让云彩飘动、水面波光粼粼
运动笔刷（Motion Brush）
这是Runway的杀手级功能。你可以在图片上”刷”出运动区域：
- 用笔刷刷过天空 → 云彩开始飘动
- 用笔刷刷过水面 → 水开始流动
- 用笔刷刷过人物 → 人物开始行走
精确控制运动方向和速度，这是其他工具很难做到的。
视频风格转换
上传一段真实拍摄的视频，选择风格（动画、油画、赛博朋克），AI会逐帧重新渲染。
Pika：简洁高效的视频生成
Pika的特点是简单易用，界面干净，上手快。对于初学者来说，Pika可能是更好的起点。
Pika的核心功能：
文生视频
和Runway类似，输入文字描述生成视频。Pika的优势在于对提示词的理解比较准确，不需要写很复杂的提示词就能得到不错的效果。
图生视频
上传图片后，Pika会自动分析画面内容，生成合理的运动。比如：
- 上传一张猫的照片 → 猫会自然地转头、眨眼
- 上传一张风景照 → 云彩、水流会自然运动
口型同步（Lip Sync）
这是Pika的特色功能。你可以：
- 上传一张人物照片 + 一段音频 → 人物会”说话”，口型和音频同步
- 制作虚拟主播、AI数字人视频
特效模板（Effects）
Pika内置了很多特效模板：
- 融化效果：物体像冰淇淋一样融化
- 爆炸效果：物体碎裂飞散
- 挤压效果：物体被压缩变形
- 蛋糕化：物体变成一层层的蛋糕
这些特效模板非常有趣，社交媒体上很多病毒视频就是用这些做的。
实战：用Runway生成你的第一个AI视频
让我们用Runway做一个实际项目：把一张AI插画变成动态视频。
第一步：准备素材
用Midjourney或Stable Diffusion生成一张高质量插画，比如：
一位穿着蓝色长袍的少女站在山顶，背后是星空和银河，风吹动她的头发和衣角
第二步：上传到Runway
- 打开Runway，选择”Image to Video”
- 上传你的插画
- 在提示词框中描述期望的运动：
The girl’s hair and robe gently blow in the wind, stars twinkle in the background, clouds slowly drift across the sky
第三步：使用运动笔刷
这是关键步骤：
- 点击”Motion Brush”
- 用笔刷刷过头发区域 → 设置向上运动（风吹效果）
- 用笔刷刷过衣角区域 → 设置向右运动（飘动效果）
- 用笔刷刷过星空区域 → 设置轻微运动（闪烁效果）
- 背景山峦保持静止（不刷）
第四步：生成与迭代
点击生成，等待1-2分钟。通常需要：
- 第一次生成：看看整体效果
- 调整提示词和运动参数
- 多次生成，挑选最好的一版
小技巧：生成视频时，运动幅度不要太大。轻微的、自然的运动（风吹、云飘、水波）效果最好。太夸张的运动会让画面变形。
实战：用Pika制作特效短视频
来做一条社交媒体爆款：让一座城市建筑”融化”。
第一步：准备图片
找一张城市建筑的照片，或者用AI生成一张。
第二步：选择特效
在Pika中选择”Melting”特效模板。
第三步：调整参数
- 融化速度：中等（太快会失真，太慢没效果）
- 融化方向：从上往下（重力感）
- 融化程度：60-70%（保留建筑的基本轮廓）
第四步：添加音效
Pika生成的视频默认无声。你可以：
- 用剪映/CapCut添加”融化”音效
- 配上一段有氛围感的背景音乐
- 加上文字解说
Runway vs Pika：怎么选？
| 对比维度 | Runway | Pika |
|---|
|———|——–|——|
| 画质 | 更高，细节更丰富 | 良好，偶尔有伪影 |
|---|---|---|
| 运动控制 | 运动笔刷，精确控制 | 自动分析，简单但不够精确 |
| 特效模板 | 较少，更注重真实感 | 丰富，趣味性强 |
| 口型同步 | 不支持 | 支持，效果不错 |
| 学习曲线 | 较高，需要调参 | 较低，上手快 |
| 价格 | $12/月起 | 免费额度较多 |
| 适合场景 | 专业短片、广告、概念片 | 社交媒体、趣味视频、数字人 |
我的建议：
- 刚入门 → 先用Pika，免费额度多，上手快
- 做专业内容 → 用Runway，画质和控制力更强
- 做社交媒体爆款 → 用Pika的特效模板
- 做虚拟人/数字人 → 用Pika的口型同步
AI视频的局限性
诚实地说，AI视频目前还有明显的短板：
时长限制
大多数工具只能生成4-16秒的片段。要做出完整视频，需要把多个片段拼接起来，这对剪辑能力有一定要求。
一致性问题
同一个角色在不同片段中可能长得不一样。这是AI视频的”老大难”问题，目前还没有完美的解决方案。
物理规律不完美
AI生成的运动有时会”穿帮”：手指穿过物体、水往高处流、影子方向不对。需要人工检查和筛选。
提示词敏感
同样一个场景，不同的提示词可能得到完全不同的结果。需要大量尝试和经验积累。
今日行动项
今天给你一个小练习：
- 注册Pika账号（免费额度足够练习）
- 找一张你喜欢的风景照片或AI插画
- 用Pika的图生视频功能，让画面动起来
- 尝试至少3个不同的提示词，对比效果
- 如果有余力，试试特效模板（融化、爆炸等）
完成后，你就会对AI视频的工作流有直观的感受。明天我们将继续探索AI在设计领域的应用！
下篇预告
今天晚上5点：Day45晚课——AI与音乐创作
我们将探索AI如何作曲、编曲，以及普通人如何用AI工具创作自己的音乐作品。
发表回复