小凌梦
2024-11-20

宝子~还在花钱使用MIdjourney?月入10000+,一分钟带你使用超个性ComfyUI并搭载最新FLUX模型(超详细)

本帖最后由 小凌梦 于 2024-11-20 23:45 编辑

hello可爱的宝子们~,小梦又来给大家喂饭喽ヽ(>∀<☆)ノ,不知道宝子们有没有看我上期发的帖子呢,上期链接:
https://bbs.qianyechuangxin.com/forum.php?mod=viewthread&tid=2621
在上一期中我们提到了如何使用Cloudflare+ChatBox来调用FLUX的模型来实现一个自由画图的世界,体验过它的宝子就会发现好用确实是好用,但它的局限性还是有的,它没有办法高度个性化设置来进行出图,不像本地的Stable DIffusion WebUI一样可以高度自定义进行出图。

image (1).png

Stable Diffusion简称为SD,咱们在后面也就叫它SD了呢,它的唯一的缺点就是内存占用大、调节繁琐、出图效率低,如果咱们拿SD和MIdjourney一对比出图的效率就可以明显感觉出去SD出图太慢了,并且SD对配置要求还非常高,显然SD1.5已经跟现在市面上大部分绘画软件的效果差别太大了,也并不是说不能使用,它的生成效果已经达不到现在基本需求了,宝子们会问那么有没有什么其它的办法呢?
当然这个问题咱们是有解决办法的呢,我相信有一部分的宝子已经体验过了SD1.5或是SD3亦或者是SDXL版本的绘画模型了,如果使用的是那种顶级的模型出图效果还是挺不错的,为什么要提SD,它和咱们本期FLUX有什么关系呢?其实FLUX目前的团队就是之前在SD工作的成员,当前FLUX模型被誉为最强绘图模型,宝子们可以看下这个比分排行榜。


image (2).png

宝子们可以看到就连最低配的FLUX[schnell]都排在了MIdjourney的前面,在这里先给宝子们说一下,并不是说MIdjourney不好,MIdjourney其实是挺好用的,只不过就是每个月的收费有点贵了,一个月的费用几百块钱不说,而且还有生成次数,确实还是挺令人烦恼的,因为我之前也有使用过一段时间的MIdjourney,这都是本梦的亲自感受哦~
一个月花了几百块钱生成几百次就没了,然后还得再花钱买时长才可以使用,一天就大几十,这谁受得了呢是不是QAQ,但是想用MIdjourney可惜又太贵了(∘⁼̴⃙̀˘︷˘⁼̴⃙́∘),后来还是使用的SD来代替,但是SD又达不到MIdjourney的那种出图的效率与质量这也让本梦非常苦恼(҂⌣̀_⌣́)那这该怎么办呢,然后有一次在百度搜索有没有相关AI绘图资料的时候接触到了ComfyUI这个东西。
在经过了一番了解后发现ComfyUI出图速度更快质量更好,并且支持高度的自定义配置,这不是本梦一直要找的MIdjourney的替代品嘛,又过了一段时间后看到了有关于FLUX的一些消息,真的是不看不知道,一看吓一跳o( 〃゜▽゚〃)ゝ,然后发现FLUX的效果居然可以与MIdjourney相提并论,而且现在的ComfyUI已经完全支持了FLUX模型的加载,这难道不是刚刚好么,再也不用花费巨额资金来开通会员使用MIdjourney也可以达到想要的效果了。
宝子们可以会说这么强大的模型难不成不要钱么?宝子们你们还真别说它还真的不要钱,这是因为FLUX有三个版本分别是FLUX-Pro、FLUX-Dev、FLUX-Schnell这三款模型,除了第一款FLUX-Pro不是免费的其它两款模型都是免费就可以使用的,Pro版本是图像生成质量最好的,但它目前只支持特供的云服务商来通过云调用,这不还有Dev和Schnell版本供我们选择嘛,至于它们的缺点嘛,唯一的缺点就是显存占用最低要求要24GB的显存呦,没错宝子们没有听错就是24GB的显存(・_・)/  Yes ~,24G的显存最低配置都要4090D才可以了。
难不成再让我去买个4090的显卡才可以么,难道像我们这种4080或是4070 Ti Super OC的显卡就用不了一点么,找了一圈的资料后发现还是有其它版本的,这也就意味着宝子们可以在本地自己来搭建使用它,最低要求就是需要有一个8G或是16G显存的NVIDIA显卡,在本地用不了的宝子们也不要着急,咱们还可以通过云端来使用FLUX呢,咱们一点点往下看。
先给大家看看效果


本地搭建ComfyUI+FLUX
如果电脑配置比较高的宝子可以试试自己在本地搭建来进行使用呢,我们需要先下载秋叶版的ComfyUI:https://pan.quark.cn/s/64b808baa960

image (3).png

宝子们只需要下载这个v4.1.7z的压缩包就可以呢,下载完成后我们解压出来并在根目录中找到A绘世启动器,然后我们运行这个启动器。
image (4).png

宝子们在第一次启动时需要下载相关的依赖会比较慢,稍微等一会就行,启动成功后它就会自动在浏览器打开下面这个页面。
image (5).png

image (6).png

当我们可以看到上面这个页面时就已经表示启动成功了,那么要如何在ComfyUI中来使用FLUX呢?ComfyUI不仅支持SD模型的加载,它还支持FLUX模型的加载,只不过FLUX模型的加载不能使用传统方式进行加载,因为FLUX有两个CLIP等参数,在这里先不过多给说这些东西。
咱们想要使用ComfyUI来加载FLUX模型需要下来下载FLUX模型的,关于FLUX模型的版本有很多种,如下这些都是FLUX的原版模型。

FLUX模型版本:
黑森林DEV版模型:https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
黑森林Schnell版模型:
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
ComfyOrg-DEV版模型:
https://huggingface.co/Comfy-Org/flux1-dev/tree/main
ComfyOrg-Schnell版模型:
https://huggingface.co/Comfy-Org/flux1-schnell/tree/main
Kijia-DEV+Schnell版模型:
https://huggingface.co/Kijai/flux-fp8/tree/main

我猜宝子们在看到这么多的模型时一定非常惊讶吧,得说这么多的模型咋选择呀!不慌不慌,宝子们只需要知道DEV版本生成的效果质量比Schnell会好一些,缺点也很明显就是比较占用显存出图会慢一些,Schnell则比DEV版本出图更快细节部分没有DEV版本好一些,但是影响并不大,黑森林版本的DEV和Schnell都非常占用内存,官方表示最低显存要求在24GB及以上的显卡才能使用,Kijia-DEV+Schnell版模型的效果是和官方一样的,并且它们都需要额外下载CLIP文件和VAE文件才可以使用。
那么这时我们就可以选择ComfyOrg版本的模型了,不管是DEV版还是Schnell版都不需要额外下载CLIP和VAE文件,因为ComfyOrg版本的模型里面都包含了CLIP和VAE,不想折腾的宝子可以选择ComfyOrg版本的模型呢(@`▽´@) ~
下面的三张图分别是ComfyOrg-Schnell、黑森林-Schnell、Kijai-Schnell模型的一个效果对比哦~
image (7).png

image (8).png

image (9).png

其实这几种的效果都是一样的,无非就是模型加载机制的不同罢了,如果宝子们想使用其它的FLUX模型并搭配官方VAE来使用的话建议使用第二种加载方式,这种加载方式就需要各位宝子们下载对应的CLIP和VAE文件了,这种方法比较适合更换其它的模型来使用FLUX进行生成,fp8和fp16的模型宝子们可以根据自身情况来选择,如果只有12GB的显存就用fp8的就好了,如果使用的是4090显卡的大佬那么就直接上顶配的fp16就好拉,效果直接拉满呢(=^ω^=),4070 Ti Super OC也可以使用fp16的模型呢,下面咱们就来换一个FLUX的模型并使用第二种加载方式。
image (10).png

image (11).png

这效果怎么样呢宝子们( ̄﹃ ̄)~咱们其它参数都保持一致的情况下只是换了一个FLUX的写真模型,如果我们再来添加一个Lora会怎么样呢?这次我把CLIP模型换成fp16来给宝子们演示一下添加Lora后的效果呦~。
image (12).png

这次我们使用了fp16的CLIP并添加了一个Lora模型和一个pink提示词,可以看到最终的效果完全不输MIdjourney,FLUX和MIdjourney一样只需要添加一个正向提示词就可以来使用它了,并不需要像SD一样还需要添加反向提示词什么的。
image (13).png

关于对应的模型我会给宝子们放在最后呦~

阅读全文 [ 创薪币: 88 ] , 点击支付
分享到:
回复

使用道具 举报

评论|共 3 个

川夜

发表于 2024-11-20 23:47 | 显示全部楼层

凌梦大佬真的是太强辣
我要说一句(1)
我要说一句 展开1条回复
回复

使用道具 举报

三昧鲨

发表于 2024-11-21 01:09 来自手机 | 显示全部楼层

帖子写的很好 可惜我早就知道了,支持 我还看过一个真人生图工作流 只是不太会用 效果不好
我要说一句
回复

使用道具 举报

小凌梦

来都来了点个关注再走

  • 21 日记
  • 135 粉丝
  • 0 活跃度