三、测评体验工作流已发Runninghub,前往体验or下载:
SVI SHOT 1分钟长视频(适合变化小的):https://www.runninghub.cn/post/1 ... iteCode=kol01-rh024
SVI FILM长视频工作流(适合多场景) :https://www.runninghub.cn/post/1 ... iteCode=kol01-rh024
目前官方其实就给出了 SVI-Shot 工作流程。Film的是第三方作者分享的,所以今天我们也只分享这2个,其他剩余的等后面完善了再分享。
3.1 SVI-Shot版Shot版本适合单场景的,就是重复一个提示词无限跑,或者变化比较小的,比如人做一些简单姿势之类的,场景不变背景不变的。
登录/注册后可看大图
这个流的流程说一下:
首次正常的图生视频流程,8步出视频。第二次开始用上一个视频的尾帧当做参考图去重新生成视频然后每次跑的视频都接到之前的视频尾部
就是这么简单,我们来看看模型加载
登录/注册后可看大图
用的是WAN2.1 I2V的模型,结合上lightx2v加速lora以及这里用到的svi-shot lora。
第二次开始的话,提取尾帧,传入到WanVideo VACE Start To End Frame的start_image中,上传的那种图当做Control_images传入。
登录/注册后可看大图
最后就是拼接视频了
登录/注册后可看大图
我们来看2个案例:
下面这个是同一个提示词,当时生成了35秒,也就是采样了7次。
一艘线条流畅的白色机动游艇在碧绿的海面上疾驰,在晴朗的蓝天下,身后留下一道引人注目的白色泡沫尾迹。
下面这个是不同的提示词,出的效果:
女孩对着镜头微笑
相机拉远,女孩用手比出心形
相机拉近,女孩轻轻亲吻镜头
相机从左向右移动,女孩对着镜头微笑
相机从右向左移动,女孩做出拥抱的姿势
相机从左前方拍摄,女孩张着嘴含着自己的手指
相机绕着女孩转动,女孩摆出性感姿势
女孩对着镜头微笑
相机拉远,女孩用手比出心形
相机拉近,女孩轻轻亲吻镜头
可以看到,视频的质量还是不错的,质量劣化的很少,特别是相同提示词那种,基本可以保持很高的视频质量。
3.2 SVI-FILM版SVI-FILM版的话,支持更多的场景,也就是提示词可以不同,场景可以更多一些。
登录/注册后可看大图
首先模型这里lora要选择对应的 film版本
登录/注册后可看大图
然后需要注意的些节点,官方推荐是上一个视频的最后五帧当做参考图传入下一个视频里面,也就是下图中传入到WanVideo ImageToVideo Encode的start_image参数中。
登录/注册后可看大图
剩下的也就是正常的采样出视频了,每次都合并前面出的视频,最中间就出来了长视频的视频了,效果别说还挺好的。
下面是跑的案例:
一只暹罗小猫紧紧地躺在一顶草帽里,头微微倾斜,好奇地凝视着一边。
小猫决定探索房间,从帽子里跳到下面柔软的地毯上。
小猫看到一个羽毛玩具,立即扑向它,在客厅里追着它。
羽毛玩具卡在角落里,导致小猫爬上附近的家具才能到达它。
小猫在玩羽毛玩具时,不小心划伤了沙发的扶手。
主人注意到划痕,轻轻地将小猫从家具上移开,将其放回帽子中以确保安全。
小猫仍然顽皮,决定调查一个被移到地板上的盒子。
在盒子里,小猫发现了一只小玩具老鼠,它热情地扑向它。
当小猫在房子里追逐玩具老鼠时,它的兴奋程度越来越高,造成了一些小混乱。
过了一会儿,小猫累坏了,在客厅地板上睡着了,仍然抓着玩具老鼠猫咪视频47秒,这个前期还好,后期有点变了,特别黑是放回帽子这里(30秒这里),好像帽子变了,导致后面的都开始有些变化。
女孩对着镜头微笑
相机拉远,女孩用手比出心形
相机拉近,女孩轻轻做了个飞吻
相机从左向右移动,女孩对着镜头微笑
相机从右向左移动,女孩做出拥抱的姿势
相机从左前方拍摄,女孩张着嘴含着自己的手指
相机绕着女孩转动,女孩摆出性感姿势
女孩一只手比了个剪刀手手势
女孩子嘟嘴巴
相机拉远,女孩挥手
这个视频也是47秒,女孩前面还好,16-20秒的时候好像就有点变化了,特别是脸部,越往后就劣化的越严重。
这个不懂是不是RH没更新到最新的版本导致的,大家本地试试,工作流是没问题的。
注意事项每个视频片段需用不同种子电影模式(Film)用 5 帧运动,镜头模式(Shot)用 1 帧SVI-FILM适合多场景的变化大一些,而SVI-Shot 适用于没有太大运动的场景,例如一个人在说话做一些轻微的表情动作变化。
四、在线使用云端镜像大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。
目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。
镜像名称:嘟嘟AI绘画趣味学
登录/注册后可看大图
登录/注册后可看大图
云平台镜像地址:
https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY
https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY
新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。