#人工智能# #AIGC#
在AI技术如火如荼发展的今天,越来越多的AI工具也走入了年轻人的日常生活,比如前一阵子爆火的「妙鸭相机」。然而,它的门槛价格还是让一些用户望而却步,不敢轻易尝试这些最潮最酷的AI技术。正好,笔者在Github上发现了一个免费开源项目大放异彩,用户只需要最少提供三张照片,就可以直接足不出户拍摄特定风格的个人写真!
FaceChain是一个深度学习模型工具,可以为用户打造独特的个人数字形象。只需上传三张照片,即可获得个人数字替身。它支持gradio界面下的模型训练和推理,也支持资深开发者使用python脚本进行训练推理,用户可以在ModelScope创空间中直接体验这项技术,无需安装任何软件。那么这个项目又具有什么特点和底层技术呢?接下来,就随着笔者一起来深入了解吧!
功能特性:
1. 风格模型:可以直接选择多种预设的风格模型,轻松打造专属数字形象。
示例效果:
2. 个性化提示词:用语言描述自己想要的衣着风格,为个人数字形象加入独特装扮。
示例效果:
算法介绍:
1. 基本原理
采用Stable Diffusion模型的文生图功能,输入一段文本或一系列提示词,输出对应的图像。同时,结合写真风格和用户特征,通过LoRA微调模型,为用户创造效果最佳的数字写真。
2. 训练流程
上传清晰人脸图像 → 图像预处理 → 高质量人脸图像获取 → 微调Stable Diffusion模型 → 生成人脸LoRA模型
首先使用基于朝向判断的图像旋转模型,以及基于人脸检测和关键点模型的人脸精细化旋转方法处理用户上传图像,得到包含正向人脸的图像;随后,使用人体解析模型和人像美肤模型,以获得高质量的人脸训练图像;接下来,使用人脸属性模型和文本标注模型,结合标签后处理方法,产生训练图像的精细化标签;最后,使用上述图像和标签数据微调Stable Diffusion模型得到人脸LoRA模型。
3. 推断流程
结合人脸LoRA模型和风格LoRA模型 → 使用Stable Diffusion生成初步写真 → 人脸细节优化 → 输出最佳个人写真
首先将人脸LoRA模型和风格LoRA模型的权重融合到Stable Diffusion模型中;接下来,使用Stable Diffusion模型的文生图功能,基于预设的输入提示词初步生成个人写真图像;随后,使用人脸融合模型进一步改善上述写真图像的人脸细节,其中用于融合的模板人脸通过人脸质量评估模型在训练图像中挑选;最后,使用人脸识别模型计算生成的写真图像与模板人脸的相似度,以此对写真图像进行排序,并输出排名靠前的个人写真图像作为最终输出结果。
快来一起尝试AIGC技术吧!
举报/反馈
原文链接:https://baijiahao.baidu.com/s?id=1774542467626610327&wfr=spider&for=pc