人工智能大数据,工作效率生产力
Ctrl + D 收藏本站,更多好用AI工具
当前位置:首页 » AI资讯

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频

2024-06-28 70

一、开源项目简介

这款AI一键让照片说话的模型叫SadTalker,是由西安交通大学的研究人员提出的,它可以让照片里的人物跟随音频的输入动起来,且头部运动、面部表情比较真实,下图是官方展示的效果图,还在等什么呢,即刻拥有它!

可以根据一张图片、一段音频,合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持stable diffusion webui,可以SD出图后,结合一段音频合成面部说话的视频

3421e95c11465d1-225

二、启动软件

在下载下来的 SadTalker.zip 上点右键,选”解压到 SadTalker 文件夹”解压出来

打开解压出来的 SadTalker 文件夹,找到 WEBUI 运行.bat,打开它会弹出一个黑色窗口,稍等会,窗门里会出现 2行文字,如下图。

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频插图1

把黑色窗口第一行那个网址 (就是http://127…1:7860这个) 复制一下只能选中后,按 Ctrl+C 复制,右键出不来菜单,然后粘贴Ctrl+v到浏览器地址栏里打开

最好用谷歌浏览器,或微软 Edge浏览器

打开那个网址后,浏览器显示的内容如下图所示

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频插图2

三、使用软件

首先,上传相片,上传音频,如下图所示音频可以用文字转语音工具制作,也可以自己录制。

在这里插入图片描述

接着,设置一下右边的选项,有两种建议方案

-第一种设置方案-

该方案生成的数字人和原图一样大,头部动作幅度虽然较小但不会出现头部和身子分离的现象,身子不动。

请按照下图设置

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频插图4

-第二种设置方案-

该方案会对原图进行裁切,只生成头部视频,没有身子,生成的数字人表情动作比第一种方案更丰富,更生动。

请按照下图设置。

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频插图5

四、下载生成视频

设置完成后,点"生成”,稍等一会,就会在左下方生成视频。原来的那个黑色窗口里会看到进度。

生成视频后,在生成的视频上点右键,会看到下载选项。

如果找不到下载选项,可以直接打开软件目录里的“results”文件夹再打开里面的文件夹,会看到几个 mp4文件,有的仅是头部,有的是普通画质,有的是超清画质,都打开看看,找个好的。

五、处理说明

处理方式说明。

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频插图6

crop:对原图进行裁切,只生成头部视频,没有身子,生成的数字人表情动作丰富,更生动

resize:生成的数字人身子也稍微动,但效果很烂,太假,不建议使用。full:生成的数字人和原图一样大,身子不动,如果勾选”静态模式”,则头部动作幅度较小,但不会出现头部和身子分离的现象;如果不勾选”静态模式”,则头部动作幅度更大,但有时候会出现头部和身子分离的现象。

extcrop、exfull: 与 crop、full 功能一样,但对头部的裁剪范围更大。

六、其他说明

姿态 Pose style: 头部晃动幅度,值越大,表情晃动越厉害。

expression scale: 脸部表情幅度,尤其是嘴唇,值越大,动作越大。

batch size in generation: 值越大,处理越快,但对显卡要求越高。显卡不好选 1就行。

启用参考视频 Use Reference Video 。

下方的选项pose:生成的数字人的脸部姿势和参考视频一致。

blink:生成的数字人眨眼和参考视频一致。

pose+blink:生成的数字人脸部、眨眼与参考视频一致all:生成的数字人和参考视频全部保持一致,包括声音。

文章使用的AI绘画SD整合包、各种模型插件、提示词、GPT人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频插图7

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

一款开源的AI数字人制作工具,用一张图片、一段音频,合成面部说这段语音的视频插图7

若有侵权,请联系删除

原文链接:https://blog.csdn.net/A2421417624/article/details/137345000?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171851504116800213035493%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=171851504116800213035493&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-20-137345000-null-null.nonecase&utm_term=AI%E5%A4%B4%E5%83%8F

相关推荐

阅读榜

hellenandjeckett@outlook.com

加入QQ群:849112589

回顶部