人工智能大数据,工作效率生产力
Ctrl + D 收藏本站,更多好用AI工具
当前位置:首页 » AI资讯

AIGC:StableDiffusion视频生成视频初探

2024-06-06 59

本熊认为投稿就要省流+有用,然后伙伴们可以消化复现,这才是高质量的稿件。

一、简单原理

AIGC:StableDiffusion视频生成视频初探插图
~~共分三步,打开冰箱门、把大象放冰箱、关上冰箱门~~

二、详细操作

1)准备好原始视频素材,用ffmpeg.exe把视频出来成图片,命令为:

2)打开Stable diffusion webui的图生图TAB页面。首先通过第一张图先生成第一帧图片,看看效果,通过ControlNet进行姿势和画面控制,通过Lora进行风格和脸部控制

配置项:

A)模型自己选,可以选动漫二次元或者真人三次元

B)ControlNet使用hednormal map,自己调试weight合适就行

如图:

AIGC:StableDiffusion视频生成视频初探插图1

3)第一帧效果生成效果满意后台,进行脚本配置,

选择muti frame脚本,输入目录选择要批量转换的原图片目录,输出目录自己确定。

Third Frame Image选择 FirstGen

Loopback Source 选择 InputFrame

AIGC:StableDiffusion视频生成视频初探插图2

4)然后点击图生图的生成按钮,等待全部图片转换完成。

效率的话,参考:RTX 3080(10GB) 处理80张图大概30分钟左右。

5)最后用ffmpeg把渲染完的图片合成视频,命令如下:

对了,如果对渲染的图片分辨率不满意,可以进行图片高清处理,进入webui的高清化Tab页面,想要多高清就有多高清,然后再合成视频。

最终效果:

AIGC:StableDiffusion视频生成视频初探插图3

原文链接:https://www.bilibili.com/read/cv22984297/

相关推荐

阅读榜

hellenandjeckett@outlook.com

加入QQ群:849112589

回顶部