使用Stable Diffusion、ComfyUI 和多个 ControlNet 模型创建 AI 艺术

如果您一直喜欢使用Stable Diffusion或其他AI模型之一(例如Midjourney或DallE 3)创作艺术,那么OpenAI最近通过OpenAI添加到ChatGPT中,并通过Microsoft Image Creator网站免费提供给犹太人。您可能对Laura Carnevali创建的新工作流程感兴趣,该工作流程结合了Stable Diffusion,ComfyUI和多个ControlNet模型

Stable Diffusion XL(SDXL)由Stability AI的开发团队创建,以其惊人的图像生成功能而闻名。虽然SDXL本身令人印象深刻,但它与ComfyUI的集成将其提升到一个全新的用户体验水平。ComfyUI 是任何想要涉足图像生成艺术的人的完美工具包,提供了一系列功能,使该过程更易于访问、简化和无限可定制。

使用Stable Diffusion、ComfyUI 和控制网络生成 AI 艺术

ComfyUI在节点/图形/流程图界面上运行,用户可以在其中试验并为他们的SDXL项目创建复杂的工作流程。它的与众不同之处在于,您不必编写任何代码即可开始使用。它完全支持各种版本的Stable Diffusion,包括SD1.x,SD2.x和SDXL,使其成为任何项目的多功能工具。

SDXL 提供了多种方法来修改和增强您的艺术。从允许您进行内部编辑的修复,到用于扩展画布的外绘制以及图像到图像的转换,该平台旨在实现灵活性。然而,正是 ComfyUI 真正为实验和控制提供了沙盒环境。

基于 ComfyUI 节点的 GUI,可实现稳定的扩散

该系统专为提高效率而设计,集成了异步队列系统,可提高执行速度。它的突出特点之一是它的优化能力;它仅在运行之间重新执行工作流的更改部分,从而节省时间和计算能力。如果您资源有限,ComfyUI 配备了低 vram 命令行选项,使其与 VRAM 小于 3GB 的 GPU 兼容。值得一提的是,该系统也可以在CPU上运行,尽管速度较慢。

ComfyUI 可以加载的模型和检查点的类型非常广泛。从独立的VAE和CLIP型号到ckpt、安全张量和扩散器,您触手可及。它具有丰富的附加功能,如嵌入/文本反转、Loras、超网络,甚至 unCLIP 模型,为您提供了一个用于创建和试验 AI 艺术的整体环境。

更有趣的功能之一是能够直接从生成的 PNG 文件加载完整的工作流程。您可以将这些工作流保存或加载为 JSON 文件,以供将来使用或协作。节点接口不仅限于简单的任务;您可以为更高级的操作创建复杂的工作流程,例如高分辨率修复、区域合成,甚至模型合并。

ComfyUI在图像质量增强方面并不不足。它支持一系列高档模型,如ESRGAN及其变体,SwinIR,Swin2SR等。它还允许使用常规和专业修复模型进行修复。其他实用程序(如 ControlNet、T2I 适配器和带有 TAESD 的潜在预览)为您的自定义工作增加了更多的粒度。

除了所有这些功能之外,ComfyUI 的启动速度非常快,并且完全离线运行,确保您的工作流程不间断。Stable Diffusion XL和ComfyUI之间的结合为基于AI的艺术生成提供了一个全面的,用户友好的平台。它将技术复杂性与易用性相结合,迎合了该领域的新手和专家。ComfyUI 中可用的多功能性和功能的深度使其成为任何认真对待图像生成工艺的人都必须尝试的。

未经允许不得转载:表盘吧 » 使用Stable Diffusion、ComfyUI 和多个 ControlNet 模型创建 AI 艺术