SDXL发布后,最开心的大概是黄皮衣(英伟达老板黄仁勋)。
因为对于大部分用户来说,尤其是8G以下显存,已经很难支撑新版大模型了,连爆显存的机会都没有,跑都跑不起来。
不过,根据网友的反馈,WebUI比较吃显存,而comfyUI相对节约显存,同等情况下,后者生成图能快一些。
但对于绝大多数入门新手来说,comfyUI的流程图式的操作方式非常不友好(对码农比较友好)。
SDXL发布后,ControlNet迟迟没有做好适配,作者在干什么呢?
他在写一个“全新”的独立程序,可以跑起SDXL的大模型,最重要的是,这个程序对显存非常友好,最低4G即可跑SDXL大模型!
对配置的需求堪比SD1.5时代了。
他是如何做到的?
这个程序叫fooocus,我下载了程序,大体翻了一下代码,发现作者非常聪明。
他并没有追求大而全的各种功能,而是在内置了一个comfyUI的情况下,做了大量的性能方面的优化提升,留给用户的界面异常简洁,除了输入提示词、选择模型外,几乎不需要做任何其他设置,所有设置都是作者优化好的。
简言之,他在comfyUI外面套了一个深度优化后的极简版的壳。
由于目前尚未有一键安装包,这个程序尚有一点点安装门槛,我写了一个教程。
1、程序下载(以Windows版本为例)
https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_1-1-10.7z
这个地址直接访问可能不稳定,但可以用迅雷下载。
2、模型下载
该程序默认用到了3个SDXL的模型,一个base,一个Refiner,和一个LoRA。
为了安装方便,建议先提前下载好这三个模型。
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors
https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors
为了保持和WebUI(如秋叶一键包)的模型通用,
两个大模型放到WebUI的大模型目录即可,比如:sd-webui\models\Stable-diffusion\SDXL
一个LoRA模型放到WebUI的LoRA模型目录,比如sd-webui\models\lora
3、解压缩fooocus程序并修改配置
(1)共用模型的配置文件
修改以下文件:
Fooocus_win64_1-1-10\Fooocus\modules\path.py
将大模型和LoRA的对应目录改成WebUI对应的模型和LoRA目录。
(2)修改启动IP地址(本机启动无需修改)
因默认只能在本机访问,如果需要在局域网访问电脑,则需要修改启动IP地址。
修改以下文件:
Fooocus_win64_1-1-10\Fooocus\webui.py
将最后一行的server_name=后面改为"0.0.0.0"即可。
4、启动fooocus
执行run.bat即可启动。
5、界面简介
用过WebUI,对fooocus就不会陌生,它把界面做到了极简。
左边栏是生成图片的界面,左下方输入提示词和生成按钮。
右侧是高级选项。
高级选项有三个选项,
一个是基本设置,主要是尺寸、种子和负面提示词;
一个是风格设置,这个直接使用了WebUI的风格插件,文件名都一样;
最后一个是高级选项,用来选取模型和LoRA,因为上文的配置过程中,我改成了WebUI的配置,所以可以直接使用WebUI的模型、LoRA。
6、joy it!
模型:sdxl_bluePencilXL_v009
提示词:
fantasy,dream girl sitting on the moon, colorful, masterpiece, ultra detail,8k, RAW photo, best quality,
原文链接:https://www.bilibili.com/read/cv25769179/