扫一扫 扫一扫 扫一扫 扫一扫 大家好,这里是和你们一起探索 AI 绘画的花生~ 前段时间 Stabilty AI 官方发布了一个开源模型 SDXL Turbo,它和我们之前讲过的 LCM 一样,只需 1-4 步就能完成图像生成,同时图像质量依旧保持的不错。如果将 SDXL Turbo 部署到本地, 我们就可以免费在自己电脑上实现 AI 图像实时生成 今天就为大家推荐几种在本地部署使用 SDXL Turbo 模型的方法,包括 Stable Diffusion WebUI、ComfyUI 和 Fooocus,经测试可以将图像的生成速度提升 6-10 倍;还可以借助屏幕捕捉插件实现类似于 Krea AI 的实时绘画效果。 SDXL Turbo 官方线上体验途径: https://clipdrop.co/stable-diffusion-turbo 相关推荐: 三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM大家好,这里是和你们一起探索 AI 的花生~最近一种新的图像生成形式逐渐兴起,即生成的图像会随输入的文字或笔画动作迅速变化,这让图像生成有了更多灵活探索和准确控制的空间。 阅读文章 >一、在 SD WebUI 中部署Civitai 上有位大神将 LCM 和 SDXL Turbo 融合成了一个新模型,安装到 SD WebUI 中后就能实现图像实时生成。(附件有资源包) 首先我们需要将 SD WebUI 更新到最新版本,然后下载上方的 RealitiesEdgeXLLCM_TURBOXL 大模型,安装到 WebUI 根目录的 models/stable diffusion 文件夹中。文末资源包中还有一个 sdxl vAE 文件,安装到根目录的 models/VAE 文件夹中。 进入 WebUI 后,进行如下设置:
经测试在 8G 的 4060 上生成一张 1024*1024px 的图像仅需 8 秒,比使用 SDXL 1.0 base 模型的快了 8 倍,并且图像质量依旧保持得很好。 这个大模型还可以配合 SDXL Controlnet 使用。下图是我用 sai_xl_canny 控制模型生成的 1024*1024 px 的图像,生成时间 13 秒,比用 SDXL 1.0 Base 模型的生成速度要快上六七倍。 如果你还没有安装 SDXL Controlnet 模型,可以看我之前写的 《SDXL controlnet 安装使用教程》 。想学习如何使用 Stable Diffusion WebUI 的话,欢迎了解我最新制作的 《零基础AI绘画入门完 全 指南》 ,我会系统讲解 Stable Diffusion WebUI 的基础用法和使用技巧,帮你掌握图生图、文生图功能以及当下最热门的控制插件 Controlnet。 二、在 Fooocus 中部署Fooocus 之前已经为大家介绍过了,它是一款非常轻便简单的免费 AI 绘画工具,融合了 Midjourney 和 WebUI 的优点,专注于 SDXL 模型,所以 SDXL Turbo 也可以在 Fooocus 中使用。 AI绘画神器 Fooocus 2.0 来啦!出图质量升级+新增4大实用功能!大家好,这里是和你们一起探索 AI 绘画的花生~之前为大家推荐过一款融合了 midjourney 和 stable diffusion 优点的 AI 绘画工具 Fooocus,它用的是开源的 SDXL 1.0 模型,可以免费生成高质量的图像,同时操作界面又如 Midjourney 般 阅读文章 >使用方法: ①下载安装 Stabilty AI 官方发布 sd_xl_turbo_1.0_fp16 模型,安装到根目录的 Fooocus\models\checkpoints 文件夹中。(文末有资源包) ②进入 Fooocus 操作界面,勾选 Advanced 选项,在右侧选项栏进行如下设置: 在 Model 版块内,选择大模型 sd_xl_turbo_1.0_fp16;refiner 选择无; 在 Advanced 区域内,将 Guidance Scale 参数设置为 1-4 之间,勾选 Developer Debug Mode,在弹出的选项款内,将 Sampler 修改为 euler_ancestral;将 Forced Overwrite of Sampling Step 参数改为 1;将 Forced Overwrite of Generating Width 和 Height 参数都修改为 512。 设置完成后就可以点击生成了,经测试生成一张图像仅需 2 秒,不过质量也稍微下降了一点。其实就 Fooocus 的一贯风格来说,上面的设置步骤其实算复杂的了。这是因为 SDXL Turbo 刚出来不久,而 Fooocus 的作者目前也正在忙,没有进行相应的兼容设置。我们可以也等待一下 Fooocus 的后期更新,用起来应该会更方便。 零基础 ComfyUI 入门教程: 超详细的 Stable Diffusion ComfyUI 基础教程(三):Refiner 细化流程前言: 上节课我们学习了文生图的基础流程,接下来我们玩个复杂的,把 refiner 模型串联进去。 阅读文章 >三、在 ComyfyUI 中部署在 ComfyUI 中部署 SDXL Turbo 后,生成一张图像只需 0.3 秒,生成的图像会随输入的提示词实时变化,做到真的“实时生成”。具体操作方式如下: ①下载 Stabilty AI 官方发布 sd_xl_turbo_1.0_fp16 模型,安装到 ComfyUI 的模型根目录中(如果是与 WebUI 共用模型,则放到 WebUI 根目录的模型文件夹中),ComfyUI 需要更新到最新版本(文末有资源包) ②进入 ComfyUI 部署实时生成工作流。可以按下方图像手动自动布置,或者直接去文末资源包中下载 flow 节点文件。工作流中的数值设置依旧需要注意: 设置参数也需要注意:采样步数设置为 1 即可;CFG Scale 参数为 1-2 之间;采样器选择 LCM,图像尺寸目前只能是 512*512,过高会出现画面崩坏(算是目前的一个小缺陷,后期官方应该会修复); 在右侧工具栏中启用 Auto queue 自动生成选项;这样工作流会自动启动,只需输入提示词就能体验到实时生成的效果。 现在还有一个 ComfyUI 屏幕捕捉插件 mixlab nodes,支持将电脑的其他界面接入 ComfyUI,与 SDXL Turbo 模型结合,实时引导新图像生成,比如图片、视频、Photoshop、Blender 等,效果类似 Krea AI。具体操作如下: 插件地址: shadowcz007/ c omfy u i-mixlab-node s (github.com) 1)安装好 mixlab nodes 插件和 sd_xl_turbo_1.0_fp16 大模型,ComfyUI 需要更新到最新版本; 2)需要安装涂鸦线条类的 sdxl controlnet 模型 ,比如 t2i-adapter_xl_sketch 或者 sai_xl_sketch_256lora; 3)进入 ComfyUI 后,按下图部署工作流(文末资源包有 flow 节点文件); 4)工作流部署成功后,在电脑中打开你需要接入应用(比如 Ps ),然后点击 ScreenShare 节点中的「Share Screen」选项,从弹出的列表中选择对应的窗口进行屏幕共享。 5)再点击 ScreenShare 节点中的「Set Area」选项,从目标窗口中框选制定区域,只让画布区域被插件捕捉。 6)然后点击 「Live Run」选项,在目标区域区域内绘制内容,每次笔画的改动都会对最终生成的内容造成影响。 四、用 lcm-lora 在 ComfyUI 中实现实时生成有了屏幕捕捉插件 mixlab nodes,我们还可以借助之前推荐的 lcm-lora 插件 ,在 ComfyUI 中实现另一种方式的图像实时生成。相比 SDXL Turbo,lcm lora 的优势在于可以配合大部分的 SD1.5 和 SDXL 大模型使用,生成的图像风格更多样,尺寸也可以自由设置。 了解 lcm lora: 三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM大家好,这里是和你们一起探索 AI 的花生~最近一种新的图像生成形式逐渐兴起,即生成的图像会随输入的文字或笔画动作迅速变化,这让图像生成有了更多灵活探索和准确控制的空间。 阅读文章 >相关工作流如下图,文末资源包中有 flow 节点文件可以直接使用。运行前需要先下载 lcm-lora-sdv1.5 和 lcm-lora-sdxl 这 2 个 lora 文件安装到根目录中,屏幕捕捉的操作方式和前面的一样,使用时需要注意的点是:
设置成功后,在目标区域内绘制草稿,即可实现实时绘图。我测试后发现效果的确不错,相当于我们自己在电脑上部署了一个 Krea AI,对做概念设计来说非常方便。 以上就是在 Stable Diffusion WebUI、ComfyUI 和 Fooocus 中部署 SDXL turbo 模型并实现图像实时生成的相关教程,大家赶快动手尝试一下吧。喜欢本期内容的话记得点赞收藏支持一波,之后会继续为大家带来更多 AI 绘画干货知识~ 也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”,和我及其他 设计师 一起交流学习 AI 知识。 参考教程:
推荐阅读: 用 AI 生成的图像享有著作权吗?法院判决结果出来了!大家好,这里是和你们一起去探索 AI 绘画的花生~自 AI 绘画出现以来,关于其生成图片版权问题的争论就一直存在。 阅读文章 >Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!Runway、Stability AI、Pika 纷纷放大招,最近的 AI 视频真是神仙打架! 阅读文章 >手机扫一扫,阅读下载更方便˃ʍ˂ |
@版权声明
1、本网站文章、帖子等仅代表作者本人的观点,与本站立场无关。
2、转载或引用本网版权所有之内容须注明“转自(或引自)网”字样,并标明本网网址。
3、本站所有图片和资源来源于用户上传和网络,仅用作展示,如有侵权请联系站长!QQ: 13671295。