Veo 3.1 文生视频/首尾帧 玩法实测
By 氪學家
Summary
## Key takeaways - **Veo 3.1: Not a Major Leap from Veo 3**: Veo 3.1, an upgrade from Veo 3, does not represent a significant leap forward in text-to-video generation, showing minimal improvement over its predecessor. [26:00], [03:15:00] - **First/Last Frame Feature Enhances Control**: The introduction of the first and last frame generation feature in Veo 3.1 significantly increases video controllability, especially when combined with tools like Google's nano banana. [36:00], [58:00] - **Veo 3.1 vs. Sora 2: Physics Understanding Lags**: Despite improvements, Veo 3.1 still lags behind Sora 2 in its understanding of physics, as demonstrated by inconsistencies in object interactions like hand movements and physics-based tests. [03:19:00], [06:07:00] - **E-commerce & Social Media Applications**: Veo 3.1's first/last frame functionality is particularly useful for e-commerce and social media, enabling natural product showcases and character animations with good consistency. [39:00], [06:17:00] - **DomoAI for Character-Action Transfer**: For transferring character actions from one video to another, DomoAI offers a user-friendly solution that simplifies the process compared to more complex tools like ComfyUI. [08:07:00], [08:53:00]
Topics Covered
- Does Veo3.1 offer significant upgrades over 3.0?
- Why does Veo3.1 fail basic physics tests?
- Is frame control the key to practical AI video?
- How to achieve consistent actions across characters?
Full Transcript
好兄弟们 Veo3.1来了
那就在昨天
Google发布了Veo3的升级版
也就是Veo3.1
其实这个模型在月初的时候就有所预告
当时的消息是3.1可以支持最长一分钟的视频
以及1080p清晰度直出
但是从版本号上来说
这个3.1相较于之前的Veo3
应该不算是重大的升级
那到底这个新的3.1效果如何
这期我们就来测试一下
我们会从3.1的文生视频
和首尾帧生视频两方面测试
尤其是首尾帧
结合Google家的nano banana
为大家演示Veo3.1在电商和自媒体动画领域
实际运用中的思路和技巧
好我们话不多说直接开始
那当前可以用Veo3.1的方式主要有两种
一种是在Google官方
比如在flow里面
另一种就是在第三方平台通过API的方式调用
那我们先来看官方这边
我们来到flow这个工具
网址我会放在视频下方的描述
有关这个工具更多详细的介绍
大家也可以看下之前的视频补课
好我们点击登录按钮
这里直接用Google账号登录就行
还有没有Google账号的小伙伴可以看下这个视频注册
进入之后我们直接点击新建项目
我们看到他现在这个模型
就已经默认是这个Veo3.1版了
然后和之前的Veo3一样
这个模型也分两个版本
fast快速版和高质量版本
当前fast一个视频消耗是20个积分
高质量版每个视频消耗100个积分
我们如果是免费的Google账号
每个月赠送是100个积分
也就是可以白嫖5个fast版本的视频
或者1个高质量版的视频
那我们测试嘛
肯定就先试一下这个高质量
因为这个看着就挺高大上
虽然他价格有点高的够呛
但是没钱也要撸把网贷开浪
好我们是个正经的频道
那我们先来图生视频测一下
因为Veo3.1一个亮点
就是他支持了首尾帧
这样视频的可控性也更高
然后我用我这个熊猫的形象
在nano banana中出了一个和孙悟空对波的图
我不知道为啥他这个人物是猴子穿着卡卡罗特的衣服
可能是因为版权 但是不重要
好我们来分别上传一下这两张图片
首先是首帧 这里需要裁剪一下
因为我们要做横屏
好然后是尾帧 也是一样
裁剪一下
正好把他这个gemini的logo裁掉
然后确认一下选择的是高质量模式
这里提示词我们用中文写就可以
我这里写
镜头从熊猫面部特写开始 逐渐拉远
熊猫转身 看到了后面的孙悟空
两个人开始对波
好提交
哎我去 我记得我是pro会员啊
之前那个领取12个月的学生会员领的
咋给过期了
哎不好意思兄弟们装逼失败
早知道一开始测fast模式了
那他这里显示我需要更多点数
因为我这个账户是免费帐户
但是肯定是有100免费积分的
所以应该是够这个视频的生成
那我们先等下
这个视频生成应该没问题
好视频还是生成了啊 我们来看下
首先从提示词遵循来说没问题
不论是运镜
熊猫转身还是最后的对波
都理解的很到位
然后不足也很明显
这个熊猫的衣服时有时无的就很魔性
在对波的时候
手部周围会有一些抖动
这个可以理解
但是其实并没有比之前的Veo3强太多
和sora2相比
如果在提示词中没有要求角色说话
不会去添加一些多余的画外音
然后我们看到下载这里
虽然据说是直出1080p
但是其实他的原版还是720p
下载的话需要选择这个放大的选项
当然这个放大是不扣积分的
只需要稍等一会
这个还可以接受
好他放大完成之后我们就可以下载了
然后因为我们一开始选了高质量模式
所以我这个号已经没积分了
好由于鄙人装逼失败
本期视频到此结束
鲁迅伯伯曾经说过 山重水复疑无路
柳暗花明又一村
那虽然我们免费的flow积分用完了
但是fal
ai这边搞活动
输入代码Veo3.1直接送20刀
限前五百个名额
当然我也是第一时间转发了这个推特
那现在这个活动肯定没有了
但是我领到了
那接下来我们就在fal这边继续测试
我们可以看到fal这边3.1现在是7个模型
分别是文生视频高质量
文生视频fast 首尾帧fast
图生视频fast
首尾帧高质量 图生视频高质量
以及图片参考生视频
其中不带fast的
也就是高质量模式的
生成单价是每秒0.2刀不带音频
或者0.4刀带音频
而fast版本是0.1刀不带音频
0.15刀含音频
那有了上次的教训 这次我们低调点
就用fast版本来生成
我们来试一个高动态场景
这个提示词我们之前做sora2和Veo3的对比的时候用到过
正好放在一起对比看下3.1会不会更好
我们粘贴提示词 这里我们出竖屏的
9:16 然后下方我们就生成8秒
这里有个增强提示词我们就关掉
我们就看看原生提示词的效果
然后分辨率就选1080p 好提交
好视频生成了 因为这个视频有声音
所以我先单独播放看下
ok从音频和视频的对应上来说没问题
在拳头碰撞的时候
音频给的也恰到好处
然后在fal这边出的版本是没有右下角水印的
那我们和其他两个版本放在一起对比下
单从这个例子来说
我觉得3.1的进步最大的就是这个运镜的幅度更明显
当然这是因为我们提示词中写了镜头环绕
感觉3.1更贴合提示词
但是我们想要的慢镜头效果
3.1还是没有实现
然后3.1在镜头推进的时候
有一根拳台的围栏突然消失了
这个有点不合理
这个例子整体来说3.1的表现力会更强一些
但视频稳定性上相较于3.0并没有特别明显的进步
那我们再来看下3.1对物理的理解有没有好一些
还是我们戴戒指的测试
提示词也非常简单
我们这次测试横板 好直接提交
OK我们还是和之前的放在一起对比看下
可以看到这次3.1是妥妥的翻车了
显然还不如之前的3.0
应该是对提示词理解错误
因为这次翻车的有点离谱
我就又跑了一次
那虽然这次戴戒指是理解了
但是生成还是有明显的穿模
看来不管是3.0还是3.1
在物理理解上当前还是不如sora2
好那我们直接来看图生视频部分
因为3.1一个重点更新就是首尾帧
所以我们来重点测试一下这个功能
先来看一个电商实战的玩法
这里我准备了两张图片
一张是这个戴红框眼镜的面部特写
这里避免版权原因我就直接用AI生成了
如果大家是有自己的电商图片
直接用就行
然后我用nano banana
让他把镜头拉远
给一张不戴眼镜的半身图
可以看到这个一致性保持的非常好
而且去掉了眼镜
那么假如我们现在的产品就是展示这个红色的眼镜
我们就可以通过首尾帧的方式
分别提交这两张图 来生成展示视频
这里提示词我还让他说了句话
这个大家换成产品的广告词什么都可以
好来看一下生成效果
我们看到没有问题
这个戴眼镜的展示非常的自然
镜头推到特写 几乎看不出AI的抖动
产品的一致性保持的也很好
唯一的不足是左上角这里
那这个是我的问题
因为原图的这张左上角有个水印
我让AI把这个原图的水印去掉
这是又跑了一次的效果
这个效果我觉得非常完美
然后我们来看这个
我让nano banana生成了两张相同角色
相同背景但是不同姿势的卡通熊猫场景
那我们的要求也很简单
让这只熊猫从地上一个跟头翻起来
然后没站稳又差点摔倒
好我们直接看结果
虽然3.1对这个鲤鱼打挺理解的不是那么到位
但是整体感觉还是非常不错的
动作也比较自然 稳定性也很好
对于这种偏写实3D风格的首尾帧场景
这次3.1做的真的不错
那这里我们延伸出一个问题
就是如果我们在制作视频中
发现做出一个动作非常不错的结果
但是想换一个角色
或者说我们想把已有的角色
应用到某个视频的动作上
比如我想把这个卡通女孩角色
让她也做视频中这只熊猫一样动作的效果
那为什么不直接用这个女孩的图片做图生视频
是因为AI的随机性
图生视频无法生成和这只熊猫一样的动作效果
那如果大家看过我之前这个wan相关的视频
当然可以在comfyUI中去实现
但是comfyUI说实话比较难上手
所以我们也可以在domoAI中去实现角色动作迁移
我们来到domoAI
网址我会放在视频下方
进入之后还是点击立即使用
然后点击AI影片 页面跳转之后
我们选择这个角色转影片
然后先来上传一下刚刚生成的这个视频
然后比如说我想换成这个角色
好我们来上传一下
提示词我们就把刚刚生成的提示词复制过来
这里的熊猫改成卡通角色就行
关于提示词这里多说一下
就是我现在要做的只是想将熊猫的动作
迁移到这个人物上
所以提示词就写的简单一些
但是如果我们想做更细致的迁移
提示词就可以写的更细致一些
比如我们也想让角色是竹林背景
就在提示词中添加说明
然后时长我们原视频是8秒
这里我们选10秒
好点击生成
OK视频生成了
我们看到这个角色的动作完美的和原视频保持了一致
这个domoAI的角色转影片功能
非常适合这种将已有角色迁移到对应动作的场景
有关domoAI更多的介绍
大家也可以看下这个视频
好我们最后来看一个首尾帧的例子
主要考点有三个
首先就是这两张图其实景别和动作差别都挺大的
所以想看一下模型的连贯性
可以看到3.1的效果做的非常好
其次就是提示词中想要一个甩尾下车的效果
这个没做到 角色只是把车停下来了
最后就是3.1对卡通风格的支持
这个也没问题 除了下车的那一下
基本看不到特别明显的抖动
整体我给到8分以上
如果不是提示词要求甩尾下车没达到
光看这个输出结果
我觉得已经相当完美了
另外就是本来我的原图是这张
想要男人下车拿枪对着镜头的特写
结果这个枪应该是敏感词
模型跑不出来
简单总结下 在文生视频上
个人感觉Veo3.1和之前的Veo3差别不大
当然这也可以理解
毕竟只是从3到3.1的小升级
并没有跨版本号
但是3.1在加入了首尾帧功能之后
不但大幅提高了视频的可控性
而且配合Google自家nano banana的能力
可以做出相当不错的效果
尤其是在角色的一致性上
那最后也非常感谢大家的观看
也请大家多多关注我的频道
这样就不会错过第一时间的更新
好我们下期再见
Loading video analysis...