SD XL 1.0 重磅更新！免费开源可商用（附在线使用+本地部署教程） ...

扫一扫
官方手机版

扫一扫
AI创作程序

扫一扫
木子公众号

扫一扫
AI公众号

大家好，这里是和你们一起探索 AI 绘画的花生~

7 月 26 日，Stability AI 发布了 Stable Diffusion XL 1.0 模型，它在图像生成质量上有了极大的提升，并且模型是开源的，图像可免费商用，所以一经发布就收到了广泛的关注，今天我们就一起了解一下 SDXL 1.0 的图像生成质量、在线使用途径及本地部署方法。

当视频无法加载时请刷新页面，
或前往PC获得最佳体验。

了解 Stability AI 研发的其他模型：

Stability AI 又出新模型 DeepFloyd ！AI设计海报指日可待了

大家好，这里是和你们一起探索 AI 绘画的花生~4 月份的时候给大家介绍了 Stability AI 新推出新模型 Stable Diffusion XL，它的参数是 SD v2.1 的 2.5 倍，整体图像生成质量也比 v2.1 要好很多。

一、SDXL 1.0 模型简介

Stable Diffusion XL 是在 Stability AI 在今年 4 月份推出的新模型，训练参数是之前 Stable Diffusion v2.1 的 2.5 倍，其生成的图像在美学程度和质量上有了很大的改进。Stability AI 在今年 6 月底更新了 SDXL 0.9, 并在一个月后更新出 SDXL 1.0，足以看出其对 XL 系列模型的重视。

了解 Stable Diffusion XL：

AI绘画神器Stable Diffusion模型再升级！新版亮点全面盘点！

大家好，这里是和你们聊设计的花生~之前为大家对比了 6 款在线 AI 绘画软件在不同主题上的图像生成效果，最终是 Midjourney 的整体表现最好，而 Stability AI 官方模型 Stable Diffusion v2.1 则表现不尽如人意。

据官方介绍，SDXL 1.0 相比之前的模型，优势主要体现在以下几个方面：

1. 可以直接根据文本生成生成任何艺术风格的高质量图像，无需其他训练模型辅助，写实类的表现是目前所有开源文生图模型里最好的。
2. 依据简单的提示词就能生成复杂、精致且美观的图像，不再需要调用“masterpiece”“best quality”等词语。
3. 可直接生成 1024x1024 的图像，色彩也更鲜艳、准确，在对比度、光照和阴影的处理上也比之前要好很多。
4. 在文本、物体空间排列、手部等内容的处理上表现很好。
5. 可以理解“The Red Square”（著名地点）与“red square”（形状）等概念之间的差异。

官方放出的 SDXL 1.0 生成的图像

AI绘画哪家强？Midjourney、文心一格等 6 大工具出图效果大比拼

大家好，这里是和你们一起探索 AI 绘画的花生~3 月份以来 AI 绘画领域又有了不小的变化，Midjourney 更新了 V5 版本、Stable Diffusion 推出了 Clipdrop Reimagine；微软 Bing 也推出了 Image Create （图像生成）功能

今年 4 月份的时候，我做过一份 6 大在线 AI 绘画工具的出图效果对比，当时的 Stable Diffusion v2.1 与 Midjourney v5 模型在图像质量上有非常明显的差距。如今过去了 4 个月，Midjourney 已经是 v5.2 版本了，Stable Diffusion 也更新到了 XL 1.0，我用与之前一样的提示词再次进行测试，下面是对比结果，可以看出 SDXL 的图像生成质量与原来的 v2.1 相比进步明显，与 Midjourney 的差距也明显缩小。

A beautiful landscape shot with the sun setting on a calm lake, lush forestssnow-capped mountains in the distance, professional photography,

一个美丽的风景拍摄与太阳落在一个平静的湖，郁郁葱葱的森林雪山在远处，专业摄影

a hyper-real photo portrait of an experienced female designer, half-length, Light grey background

一位经验丰富的女设计师的超现实肖像照片，半身，浅灰色背景

A happy boy in a short-sleeved tracksuit, sunny, basketball court in the background, anime illustration, bright color -

一个穿着短袖运动服的快乐男孩，阳光明媚，背景是篮球场，动漫插画，色彩鲜艳

A lovely little princess, with black long wavy hair, wearing a gorgeous blue dress, happyand smiling, POP mart IP, chibi, Disney style, surrounded by sunflowers, bright drea"mycolours, front lighting, 3D render, blender

可爱的小公主，黑色波浪长发，身穿华丽的蓝色连衣裙，开心地微笑着，POP mart IP，Chibi，周围是向日葵，明亮的颜色，3d 渲染，Blender

Flat illustration of A fit woman Jogging, plants, Professional Fitness, minimalist, pure white background, Ul/UX, Vibrant color

一个适合女人慢跑的平面插图，植物，专业健身，极简主义，纯白色背景，Ul/UX，鲜艳的颜色

Magnificent ancient Chinese complex, floating in the clouds, wide-angle panoramaoverhead shot, story splitting, a strong sense of space, flocks of flying cranes, waterfall, blooming peach blossoms, bright color, game concept design,high quality, 8k, masterpiece

气势恢宏的中国古代建筑群，漂浮在云中，广角全景俯视拍摄，故事分裂，空间感强，成群的飞鹤，瀑布，盛开的桃花，鲜艳的色彩，游戏概念设计，高品质，8k，杰作

此外，Stability AI 还特别强调了 SDXL 1.0 在 Fine-tuning （微调）上能力的提升，这意味这我们可以在 SDXL 1.0 基础上，更轻松地训练出不同风格的 checkpoint 及 lora 模型，而无需额外的数据整理。Stability AI 团队也正在构建专门用于 SDXL 模型的 ControlNet/ T2I 控件，inpainting、outpainting、mask 等功能等成熟会后也会更新出来。

SDXL 模型将来也会有适配的 controlnet 插件

知名开源 AI 绘画模型社区 Civitai 最近也开启了专门针对 SDXL 的模型训练比赛，也就是未来会有更多基于 SDXL 的高质量 checkpiont、lora 模型可以供广大 AI 绘画爱好者使用，这对开源 AI 绘画的生态升级及整体发展都是重大利好。

Civitai 比赛链接： https://civitai.com/articles/1462

二、在线使用 SDXL 1.0

目前我们有三种方式可以免费在线使用 SDXL 1.0 生成图像：Stability AI 官方 Discord 服务器、Stability AI 官方在线 AI 绘画工具 DreamStudio，以及 Stability AI 旗下的在线 AI 图像处理工具 Clipdrop。

1. Discord 服务器

SD XL1.0 Discord 服务器： https://discord.com/invite/CDNvxYeM
点击上方链接加入 SD XL1.0 官方服务器，点击“SDXL BETA BOT”内的任一频道，在文本框内输入 /Dream，再输入文本提示词，按 Enter 发生出去就可以了。文生图功能目前可以免费使用，但是会有使用频率限制，受限时可以等待片刻或者换另一个频道尝试。

2. Dreamstudio

网站直达： https://dreamstudio.ai/generate

DreamStudio 是 Stability AI 的官方应用，目前已经内置了最新的 SD XL1.0 模型。里面的可选功能很多，可以填写负面提示词、使用图像提示、设置画面横纵比、生成步数等，新用户有 200 点免费生成额度。

3. Clipdrop

网站直达： https://clipdrop.co/stable-diffusion

Clipdrop 是 Stability AI 收购的一家在线 AI 图像处理工具，现在也内置了最新的 SDXL 1.0 模型，并且新增了画面横纵比和负面提示词 2 项功能。生成服务也是可以免费使用的，但是图像右下角会有 Clipdrop 的水印。

三、本地部署 SDXL 1.0

SDXL 1.0 的源文件已经在 Huggingface 上开源了，我们可以通过 Stable Diffusion WebUI 在本地免费使用 SDXL 1.0，具体操作步骤如下。

①将 Web 更新到 1.5 版本，版本号在 WebUI 最底部的一行小字中可以查看，秋葉整合包可以直接在启动器内更新。

②如果你的电脑显存小于等于 8G，则在使用前需要开启显存优化，不然显存会带不动 SDXL 1.0。如果是秋葉整合包，可以在启动器的「高级选项」设置内开启。如果是 Automatic1111 纯净版，请编辑 webui-user.bat 文件，在 set COMMANDLINE_ARGS= 后面加上以下参数：--medvram（显存低于 8G ）或 --lowvram （显存低于 4G）。

③下载 2 个大模型、1 个 Lora 模型和 1 个 VAE 模型。大模型安装到根目录的 models\Stable-diffusion 文件夹，Lora 模型安装到 models\Lora 文件夹，Vae 模型安装到 models\VAE 文件夹（文末有资源包）。

1. 基础大模型和 lora 模型：stabilityai/stable-diffusion-xl-base-1.0 at main
2. 精修大模型：stabilityai/stable-diffusion-xl-refiner-1.0 at main
3. Vae 模型：stabilityai/sdxl-vae at main

④以上参数和模型都设置好后，就可以启动 WebUI，进入文生图界面，对应参数设置如下。不需要开启高清修复，也不要启用任何拓展/插件/脚本。

参考数值：

1. 大模型：sd_xl_base_1.0_0.9vae.safetensors (启用后会有很多 lora、embedding 模型失效，切换回其他大模型后会自动恢复)
2. 外挂 Vae：sdxl_vae.safetensors
3. CLIP 终止层数：1
4. 正向提示词：a girl walking on the beach,hair flowing, sea and sunset, realistic photography, High detail, ,8K, sharp focus, （记得使用前面下载好的 lora 模型，l 权重建议设在 0.3 左右）
5. 负向提示词：(worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) watermark, moles, nsfw,Cleavage
6. CFG scale: 7
7. 步数：30
8. 采样方式：DPM++ 2M Karras（任选，不支持 DDIM/PLMS/UniPC 采样器）
9. 尺寸：1024*1024

⑤图像生成后，直接发送到“图生图”版块，并做出以下修改，其他不变，点击「生成」按钮，最终图像会比原图更清晰锐利。

1. 将大模型修改为 sd_xl_refiner_1.0_0.9vae.safetensors
2. 外挂 Vae：sdxl_vae.safetensors
3. 删除正向提示词中的 <lora:offset_0.2:0.3>”
4. 采样方式：DPM++ 2M Karras
5. 重绘幅度 0.1-0.3 之间

如果在精修过程中出现如下报错：

NansException: A tensor with all NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.

请关闭 WebUI，回到启动器，在「高级选项」内，关闭 “VAE 模型半精度优化”和“数值溢出检查”。再回到 WebUI 重新开始图生图操作，精修过程就可以正常进行了。

最终效果图：

以上就是本期为大家介绍的最新开源文生图模型 SDXL 1.0 的相关内容，它的图像生成质量极高，且素材可以免费商用，部署到本地后可以无限制生成高质量的图像，非常值得一试。喜欢本期推荐的话记得点赞收藏支持一波，之后会继续为大家推荐更多 AI 绘画干货。有关于本文或者设计的问题可以在评论区提出 ，我会第一时间回复。

也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”，和我及其他设计师一起交流学习 AI 知识~

参考资料：

1. ANNOUNCING SDXL 1.0 — Stability AI --- 宣布推出 SDXL 1.0 — 稳定性 AI
2. SDXL1.0 下载发布，生态可期！AIGC 慢周刊 Vol.03@20230727 | AIGC 慢周刊 (zhubai.love)
3. SDXL1.0 下载公布,本机部署教学-A1111+comfyui，共用模型，随意切换|SDXL SD1.5 对比优劣_哔哩哔哩_bilibili
4. SDXL 1.0 in A1111 - Everything you NEED to know + Common Errors! - YouTube

推荐阅读：

Clipdrop！Stable Diffusion 加持的全能型 AI 图像生成+处理神器

大家好，这里是和你们一起探索 AI 的花生~前几天 Midjourney 更新了 v5.2 版本，新增的功能引起大家的广泛的关注。

效率暴涨！5 款设计师必备的 Stable diffusion WebUI 模型

大家好，这里是和你们一起探索 AI 绘画的花生~之前腾讯云设计中心分享了一篇用 Stable Diffusion WebUI 完成 B 端图标设计的教程，方法是搜寻多张 B 端图标素材，然后自己训练一个模型，这样只要输入关键词就能生成风格统一且质量极高的图标素材。