AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

简介: AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

大家还记得 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解 这篇文章中,曾简单介绍了Lora的安装和使用吗 ?


但是我们并不清楚LORA 的原理是什么?以及使用过程中有什么技巧 ?


其实LORA 与 embedding 、Hypernetwork 在本质上类似,不过因为携带着大量的训练数据,所以 LORA 对人物和细节特征的复刻更加细腻(效果最好)、使用频率也是最高的。


因此我们在这里将重点介绍 LORA 模型相关的知识:包含LORA模型的原理、安装、使用、Lora模型的类型。

由于篇幅原因,这里将分为上、下两节进行详细讲解。


一、LORA 的原理


1、Lora是什么 ?

LORA,英文全称Low-Rank Adaptation of LargeLanguage Models,直译为大语言模型的低阶适应。这是微软的研究人员为了解决大语言模型微调而开发的一项技术。


LORA是一种在消耗更少内存的情况下,加速大型模型训练的训练方法,在stable diffusion中它允许使用低阶适应技术来快速微调扩散模型。简而言之,LoRA训练模型可以更轻松地针对不同概念(例如角色或特定风格)进行模型训练。这些经过训练的模型可以被导出并供其他人使用。


LORA模型是小型的stable diffusion模型,对checkpoint模型 cross-attention layers(交叉注意力层)进行了较小的更改,但是它的体积只有checkpoint的1/100到1/10,文件大小一般在2-500MB之间。



从上图我们可以看到 LORA 对模型产生作用的环节是在 Noise predictor

下图是对上图放大以后的内部结构,LORA 是对 crossattention 进行更改。



在上一篇文章中,我们已经对比了三者的区别,感兴趣的朋友,请前往查看AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解


二、LORA 的下载安装


1、打开c站筛选LORA模型

点击右侧 ->漏斗图标 ,下拉菜单中选择 LORA



2、选择搜索结果中,喜欢的lora 模型进行下载


这里以 原神lora 模型为例进行演示:



下载完成后,会得到 Eula.safetensors 文件


3、 安装 lora 模型


将下载后的Eula.safetensors 文件,拷贝到 Lora 目录:

\sd-webui-aki-v4.2\models\Lora



4、 下载安装lora 模型对应的 chekpoint 模型


在右侧可以看到 lora 模型对应的 chekpoint 模型 是 xxmix9realistic_v40 。

直接点击chekpoint 下方的“下载”按钮进行下载。



下载完成,会得到 xxmix9realistic_v40.safetensors 文件。


5、 安装 chekpoint 模型

将 xxmix9realistic_v40.safetensors 文件 拷贝到Stable-diffusion 目录:


\sd-webui-aki-v4.2\models\Stable-diffusion



安装完成后,重启 Stable diffusion 使其生效。


三、LORA 的使用


LORA的使用方法与EmbeddingsHypernetwork一样,为了方便新朋友的理解,这里详细演示一下步骤。


1、选择刚才安装的 chekpoint 模型


2、输入参数

  • 正向提示词
(((best quality, masterpiece, good anatomy))), eula_in_genshin, cowboy shot, 1girl, blue short hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, upper body,outdoors, castle, streets, green plants, flowers,



  • 反向提示词
ng_deepnegative_v1_75t, (badhandv4:1.5), (worst quality:2),(lower eyelashes:2), (low quality:2), (normal quality:2),(holding:2),(gloves:2),(blue gloves:2),(black gloves:2),lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) ,watermark



  • 采样方法:DPM++ 2M Karras
  • 迭代步数:40
  • 随机种子:1831064945
  • CFG Scale:21


3、重点来了,选择刚安装的 lora 模型

(1)、点击生成按钮下方的红色图标



切换到lora模型标签


(2)、lora 标签页面选择 刚安装的模型 Eula



此时,正向提示词输入框中会自动添加 LORA 模型,如下:


(3)、点击生成按钮 ,查看效果


(4)、使用技巧:

  • 我们可以调整权重来调高或调低效果
    将权重设置为 0 会禁用 LoRA 模型,可以在 0 和 1 之间调整样式效果。
    需要注意的是,每个 LORA 模型对输出图像的权重设置是非常重要的。权重设置越大,对画面的影响因素就越浅。通常情况下,权重 应该控制在 0.7-1 之间。如果权重过高,会大幅度影响出图的质量。

  • 通常来说,每个 LORA 模型都有对应的底膜和触发词汇。我们可以查看 LORA 作者产出的相关图片,从中获取模型信息,并从中选择一些提示词和排除词来指定生成图像的方向。

例如这个模型的介绍页面就有触发词的说明:


触发词为:

eula_in_genshin, cowboy shot, 1girl, blue medium hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, black thighhighs, high heels,


也就是我们正向提示词里面的内容:


  • 与Embeddings类似,可以同时使用多个LoRA模型,还可以将它们与embeddings一起使用。


  • 在 AUTOMATIC1111 中,LoRA 短语不是提示词的一部分,LoRA模型应用后将被移除,这意味着不能将提示词语法使用在lora模型短语上。


好了,今天的内容就介绍到这里,下一篇,我们将继续介绍Lora 模型的类型,敬请关注。


相关文章
|
22天前
|
人工智能 编解码 芯片
【AI绘画】你有多久没有打开SD了?
曾几何时,Stable Diffusion的复杂参数令人崩溃,如今即梦、可灵等AI工具已让生成图片变得轻而易举。哩布哩布发布2.0升级公告,看似迈向更易用的未来,却也悄然为那个钻研模型、拼接工作流的“拓荒时代”奏响终章。技术迭代飞快,但那份对创造的热爱与探索精神,永不褪色。
401 9
|
24天前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
|
人工智能 大数据 安全
拔俗AI临床大数据科研分析平台:用智能技术加速医学研究新突破
AI临床大数据科研平台基于云原生架构,融合医疗NLP、联邦学习与智能分析技术,破解非结构化数据处理难、多源数据融合难、统计周期长等痛点,实现数据治理、智能分析与安全协作全链路升级,赋能医学科研高效、安全、智能化发展。
|
4月前
|
机器学习/深度学习 人工智能 自动驾驶
AI Agent多模态融合策略研究与实证应用
本文从多模态信息融合的理论基础出发,构建了一个结合图像与文本的AI Agent模型,并通过PyTorch代码实现了完整的图文问答流程。未来,多模态智能体将在医疗、自动驾驶、虚拟助手等领域展现巨大潜力。模型优化的核心是提升不同模态的协同理解与推理能力,从而打造真正“理解世界”的AI Agent。
AI Agent多模态融合策略研究与实证应用
|
4月前
|
机器学习/深度学习 人工智能 算法
深度强化学习在异构环境中AI Agent行为泛化能力研究
随着人工智能技术的迅猛发展,AI Agent 在游戏、智能制造、自动驾驶等场景中已逐步展现出强大的自适应能力。特别是深度强化学习(Deep Reinforcement Learning, DRL)的引入,使得智能体能够通过与环境的交互,自动学习最优的行为策略。本文将系统性地探讨基于深度强化学习的AI Agent行为决策机制,并结合代码实战加以说明。
深度强化学习在异构环境中AI Agent行为泛化能力研究
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
原来AI也能“读心术”?——聊聊AI在心理学研究中的那些突破
原来AI也能“读心术”?——聊聊AI在心理学研究中的那些突破
177 1
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
AI 驱动:如何用AI直接生成矢量 Logo? 技术研究与工具选择
AI 技术革新品牌标志设计,通过深度学习分析数据,精准把握市场趋势,智能生成高辨识度 Logo。矢量格式(SVG)确保清晰不失真,适配各类展示场景。AI 工具高效便捷,支持个性化定制,助力品牌快速打造专业视觉形象,成为市场竞争中的有力武器。
266 0
|
17天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
244 29
|
2月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
644 36
|
30天前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
318 20

热门文章

最新文章