先说一个最容易被忽略的事实:选错底模,不是参数能救回来的问题。你可以把采样步数从 20 加到 60,把 CFG 从 7 调到 4.5,把提示词写到 300 个词,把负面词堆满一整屏——出图还是不对。因为底模决定的是整张图的「物理法则」:皮肤怎么反光、头发怎么分层、物体边缘怎么收口、光影怎么衰减。LoRA 只能在这个法则之内做加减,它改不了法则本身。
这篇模型选型教程要讲的事情很具体:在 LiblibAI 这类模型社区里,一个有经验的创作者是怎么在动手之前就把模型组合定下来的。底模赌质感,LoRA 赌角色和画风,ControlNet 赌结构,三件事各自归位,先搭好再开跑。同时也会把通义万相拉进来做对比,因为这两家的定位差别大到会影响你的整个工作方式。
一、为什么”先定组合”比”边画边调”省下三倍时间
新手最典型的工作流是这样的:打开生图页面,选一个首页推荐的模型,随手写一段中文描述,出图,不满意,加词,再出图,还是不满意,换个模型,再出图。一个小时过去,二十几张图全是废的,而且没人能说清楚到底哪一步错了。
还有一个更隐蔽的成本:模型选型这件事一旦拖到出图阶段才做,你其实是在用「画错的图」反推「该选什么模型」,这个过程本身就没有收敛点。这种工作流的根本问题在于:变量太多,一次动一个还不知道动的是哪个。模型、权重、采样器、CFG、种子、分辨率、提示词词序、负面词,全在同时变化,你得到的结果没有归因价值。你今天侥幸出一张好图,明天复现不出来。
1.1 从”试参数”到”配组合”的思维转换
成熟创作者的做法反过来:先在纸上(或者在笔记里)把组合写死。底模是哪个,版本号是多少;LoRA 挂哪几个,各自权重多少;要不要 ControlNet,用哪一种预处理器;出图分辨率定多少。这套组合定好之后,模型选型阶段其实已经结束了,后面的出图是执行,不是探索。
这个转换带来的效率差异非常直观。假设你要做一组 20 张的角色立绘:
- 边画边调流派:平均每张图试 15-25 次才勉强能看,总耗时 6-8 小时,其中一半时间在跟不兼容的模型组合搏斗,最后风格还不统一。
- 先定组合流派:花 20-30 分钟做好组合验证(后面会讲具体怎么做),确认底模 + LoRA 兼容后,每张图试 3-5 次就出片,总耗时 2 小时左右,风格高度一致。
差的不只是时间,是可复现性。第二组人明天还能用同样的组合再出 20 张,第一组人明天要从头再来一遍。
1.2 一个反直觉的结论:模型越少,出图越快
很多人以为收藏夹里存 50 个模型的创作者效率更高。实际情况正好相反。收藏夹里有 50 个底模的人,通常一直在几个底模之间犹豫摇摆,每张图都在”这个是不是更好”的自我怀疑里打转。真正高产的人往往长期只用 3-5 个底模,每个底模对应一类明确的产出目标,剩下的全部靠 LoRA 去适配。
这也是为什么本文会把底模单独拎出来讲三条分流路径。你不需要认识所有模型,你只需要知道:我现在要做的是写实人像、二次元角色、还是特殊材质与插画,对应哪条路。
二、三层结构:底模、LoRA、ControlNet 各管一件事
把整套体系拆开看,其实就是三层。这三层的职责边界必须划清楚,任何一层越界,整张图就塌。
2.1 底模:决定质感与美学基调
底模(Checkpoint)是地基。它决定的东西包括但不限于:画面的整体锐度、肤质的细腻程度、光影的软硬倾向、色彩的饱和度基线、构图的默认偏好、线条的有无与粗细。底模就是整张图的”出厂设置”,你后面所有操作都是在这个出厂设置上打补丁。
一个很实际的判断方法:如果你把一个底模的提示词简化到只剩”1girl”,它出来的东西仍然会带着强烈的风格印记。写实底模出来的是照片质感,动漫底模出来的是二维绘制感,插画底模出来的是笔触和色块。这个印记是擦不掉的,它就是你选这个底模的原因,也是你选错底模时的代价。
2.2 LoRA:决定角色与画风
LoRA 是在底模之上的”附加层”。它的作用是往底模的权重里注入一小段偏移量,让某个具体概念(某个人物的脸、某种画风、某类服饰、某个道具)更容易被生成出来。
关键认知在这里:LoRA 不改底模的质感天花板。你把一个写实人像 LoRA 挂在动漫底模上,出来的东西不会变成写实照片,只会变成”五官略微立体一点、但仍然二维”的奇怪存在。同样,把一个水彩画风 LoRA 挂在写实底模上,得到的是”像照片但被泼了水的糊感”,而不是水彩画。
这就是为什么LoRA 的选型必须服从底模的选择,而不是反过来。很多人的顺序搞反了:先找到一个心动的 LoRA,再去挑一个”看起来应该能用”的底模,结果两头不讨好。
2.3 ControlNet:决定结构与构图
ControlNet 是第三层,它管的是”形状”。人物站在哪里、手抬到多高、建筑是什么透视、画面里各个物体的轮廓位置——这些都可以通过 ControlNet 从参考图里提取出来,硬约束到生成过程中。
三层的分工可以这么理解:
| 层级 | 管什么 | 典型手段 | 换掉它的后果 |
|---|---|---|---|
| 底模(Checkpoint) | 质感、光影、色彩基线、美学基调 | 选 Photorealistic / Anime / 插画专用底模 | 整张图的”物种”变了,风格漂移无法挽回 |
| LoRA | 具体角色、具体画风、特定服饰与道具 | 角色 LoRA、风格 LoRA、服饰 LoRA | 角色不像、画风不统一,但画面骨架还在 |
| ControlNet | 轮廓、姿态、深度、线条结构 | Canny / OpenPose / Depth / Lineart | 构图失控,但质感和角色都还对 |
2.3.1 层级冲突时的优先顺序
当三层打架的时候,判断顺序是:底模 > ControlNet > LoRA。底模错了,一切白搭;ControlNet 和 LoRA 冲突(比如姿势要求手举过头顶,但角色 LoRA 训练集里全是垂手站姿),优先保 ControlNet 的结构,LoRA 权重降到 0.5 以下试试,实在不行就换角色参考图。
2.3.2 新手最容易犯的越界错误
用 LoRA 去”救”底模的错误。这是最高频的浪费。举个具体的:有人想做一个”赛博朋克风格的写实城市夜景”,选了一个偏柔和的二次元底模,然后挂三个”赛博朋克”LoRA、把权重拉到 0.85、再加一堆霓虹描述词。出来的东西是”二次元画风里塞了霓虹灯管”,质感完全不是他要的。正确做法只有一个:换成写实或者特殊材质向的底模,LoRA 降回 0.6 左右。
三、底模选型的三条分流路径
LiblibAI 上的模型数量非常大,但落到实际选型上,你只需要先回答一个问题:这张图的目标质感是什么。答案只有三种,对应三条路。
3.1 路径一:写实 —— 走 SDXL 系 Photorealistic 底模
目标是照片质感、真实人物、产品图、商业摄影风格的画面,就走写实这条路。可选的典型底模是 SDXL 系里标注为 Photorealistic 的模型,比如 F.1、xl-ill 这一类。
这条路的核心诉求是”像真的”。判断一个写实底模好不好,看三个细节:皮肤有没有真实的毛孔和不均匀的色斑(过度光滑的皮肤反而假)、高光有没有正确的衰减(鼻尖、颧骨、唇峰的高光应该是渐变的,不是一块死白)、背景虚化有没有真实的景深过渡(不是一刀切的糊)。
写实路径的陷阱:很多标着”写实”的底模其实是”半写实”——它会把皮肤处理得过于完美,五官过于标准,结果出来的是”AI 味很重的漂亮脸”,而不是真实的人。这种底模做商业人像可能还凑合,做纪录片风格、做纪实摄影、做有故事感的人物,就完全不对了。选的时候一定要看作品关联页,看它出的活人像不像活人。
3.2 路径二:二次元 / ACG —— 走 SDXL Anime 或厚涂类 Checkpoint
目标是动漫角色、游戏立绘、插画风人设、二次元场景,走第二条路。可选的是 SDXL Anime 系列底模,或者 Seedream 4.5 这一类在详情页明确标注”厚涂”的 Checkpoint。
“厚涂”这个词在二次元圈里有具体含义:不是纯色块平涂,而是有笔触堆叠、有明暗过渡、有体积感的绘制方式。标注厚涂的底模,出图会有明显的绘画感,适合游戏宣传图、小说封面、角色卡。纯 Anime 底模则更偏平涂或赛璐璐,适合番剧截图感、动态分镜、轻小说插图。
二次元路径的陷阱:这类底模对提示词里出现”photograph””realistic””film camera”之类的词非常敏感,容易把画风拽向”半写实二次元”,出来的东西既不像动漫也不像照片。如果你确实想要”二次元角色 + 写实光影”,正确的做法是选一个本身就有光影处理的厚涂底模,而不是往纯 Anime 底模上加写实词。
3.3 路径三:特殊材质与插画风格 —— 走 Foundation1.0 或 SDXL 插画专用分支
第三条路是给”非常规目标”准备的。包括两类:
特殊材质:PVC 手办的塑料质感、金属的反光与拉丝、赛博机械的结构细节。这些材质对底模的光照模型要求很高,普通写实底模出来的金属经常是”糊成一片亮”或者”像塑料镀了一层膜”,PVC 出来的感觉是”蜡像”而不是”手办”。Foundation1.0 这类底模在材质表现上有专门优化,出金属会有明确的高光形状和反射方向,出 PVC 会有那种半透的、边缘泛光的质感。
插画风格:水墨、厚涂、儿童绘本、版画、剪纸。这些风格不是”加个描述词”就能出来的,底模本身的美学基因必须匹配。你在写实底模上写”Chinese ink painting”,得到的通常是”照片被做成了水墨滤镜”,而不是真正的水墨画——因为水墨的核心是留白、飞白、墨色浓淡,这套语言写实底模没有。
有些作者会在 LiblibAI 上维护 SDXL 插画专用分支,专门针对这一类风格微调。选这类底模的时候,作品关联页比什么都重要,一定要看它出的是不是你真想要的那个味儿。
3.4 底模分流表(含推荐分辨率)
把三条路径和分辨率放在一张表里,这张表建议收藏。分辨率这一列是很多人踩坑的地方,后面会单独展开讲。
| 目标类型 | 推荐底模方向 | 典型代表 | 推荐分辨率 | 适配场景 |
|---|---|---|---|---|
| 写实人像 / 商业摄影 | SDXL 系 Photorealistic | F.1 写实分支 | 1024×1344(竖版人像) | 人物特写、全身立像、证件风格 |
| 写实场景 / 风光 / 建筑 | SDXL 系 Photorealistic | F.1 写实分支 | 1280×768(横版场景) | 城市街景、室内空间、自然风光 |
| 写实产品 / 静物 | SDXL 系 Photorealistic | xl-ill 等 | 1024×1024 | 商品图、美食、器物 |
| 二次元角色 / 立绘 | SDXL Anime 或厚涂 Checkpoint | SDXL Anime 系、Seedream 4.5 厚涂标注款 | 1024×1024 / 1024×1536 | 角色卡、游戏立绘、小说封面 |
| 二次元场景 / 分镜 | SDXL Anime | SDXL Anime 系 | 1024×1536(竖)/ 1536×1024(横) | 番剧感场景、漫画分镜 |
| 特殊材质(PVC / 金属 / 机械) | Foundation1.0 及同系材质优化底模 | Foundation1.0 | 1024×1024 | 手办、模型、机甲、工业产品 |
| 插画风格(水墨 / 厚涂 / 绘本) | Foundation1.0 或 SDXL 插画专用分支 | 插画分支底模 | 1024×1024 / 1024×1536 | 绘本、海报、文创、封面 |
| 老版本轻量需求 | SD1.5 系列 | SD1.5 生态模型 | 512×512 / 512×768 | 快速草图、低成本批量 |
3.4.1 分辨率必须与底模对齐,这是模型选型里的硬规则
很多人不知道,底模在训练时见过的分辨率范围是有边界的。SD1.5 的底模训练分辨率是 512,SDXL 是 1024,F.1 系在 1024 上下。你把 SDXL 底模拉到 1536×2048 去出图,得到的结果通常是人脸变形、肢体重复、手指数量失控——这不是模型差,是分辨率超出了它的舒适区。
反过来,用 SD1.5 底模在 1024×1024 下出图,画面会变得糊、细节混乱、构图发散,因为模型在这个尺度上没学过东西。
所以分辨率这一栏,本质上是底模选型的一部分,不是出图阶段才该想的事。选底模的时候,先想清楚你要出的图是什么尺寸,然后确认这个底模能不能吃得下。
3.4.2 竖版写实人像为什么推荐 1024×1344
1024×1344 这个比例大约是 3:4,接近传统人像摄影的构图比例,也是 F.1 写实分支最舒服的尺寸。在这个尺寸下,人物的头部占比、肩宽比例、背景留白都很自然,不需要额外做构图裁切。如果你需要 9:16 的手机壁纸比例,可以在这个基础上做扩图,而不是直接生成 1024×1820——后者容易让人物被拉长。
3.4.3 横版场景为什么推荐 1280×768
1280×768 是 5:3,比标准的 16:9 略宽,在 SDXL 和 F.1 系底模上表现稳定。这个比例适合街景、室内、风景这类需要横向延展的场景。如果你直接拉成 1920×1080,纵向像素不足会导致画面上下边缘的物体失真,尤其是画面顶部和底部的建筑、地面细节。
四、严禁混用:底模与内容的错配代价
上面这三条路之所以要分得这么死,是因为混用的代价比多数人想象的大得多,而且是结构性的,不是调参能修好的。
4.1 写实底模跑动漫提示词:五官解构
用写实底模去生成动漫角色,最常见的症状是”五官解构”。具体表现:眼睛会变成”过度写实的眼睛装在二维的脸上”,眼睑结构、虹膜反光、睫毛走向全都按真人来,但脸型、鼻子、嘴的处理又是动漫比例。结果是一张既不像动漫也不像真人的怪脸,俗称”恐怖谷边缘”。
为什么会这样?底模的权重里对”人脸”这个概念有自己的先验——它见过的是真实的人脸结构。你让它生成大眼睛小鼻子的动漫脸,它会本能地把真人的眼睑皱褶、鼻翼软骨、唇纹补上去。这些细节在真人脸上是加分项,在动漫脸上是灾难。
更麻烦的是,这个症状不会随着提示词变长而消失。你写”anime style, 2D, flat color, cel shading”写二十遍,出来的还是那张怪脸,只是多了一层塑料光泽。因为提示词的影响权重远小于底模的先验。
4.2 动漫底模生成真人脸:风格漂移
反过来的情况同样糟糕。用动漫底模生成真人照片,出来的通常是”过度光滑、五官标准、皮肤没有毛孔、眼神没有光”的人偶脸。这种脸在缩略图上看还行,放大一看就是”AI 画的假人”。
这个问题的专业说法叫风格漂移:底模的二维绘制基因会渗透到本该是写实的内容里,让画面在”应该有的质感”和”实际有的质感”之间反复横跳。你会看到头发是写实的一缕缕,但皮肤是动漫的平涂;衣服褶皱有真实的光影,但脸部完全没有真实的皮肤逻辑。
4.3 一个真实的排查案例
有个做儿童绘本的朋友卡了很久:他想要”水彩质感的绘本插画,人物是可爱的小女孩”,但他用的是写实底模,挂了三个水彩 LoRA,权重 0.75/0.7/0.65,写了一长串风格词,出来的图像是”照片被泼了水彩滤镜后变模糊”,完全没有绘本的清爽感。
他试了两周,调了所有能调的参数。最后我让他做一件事:把底模换成插画专用分支里的一个底模,所有水彩 LoRA 先全部摘掉,权重清零,什么都不挂,只用最简单的提示词出一张。
第一张出来就对了。那张图的笔触、色块、留白,全是他想要的那种绘本感。后面再加一个 0.6 权重的角色 LoRA,整套组合就成型了。
这个案例的价值在于:他花了两个星期在解决一个本来不存在的问题。问题从来不是”水彩效果不够强”,而是”底模根本不是画水彩的底模”。
4.4 混用的唯一合理场景
有没有例外?有,但很窄。当你要做的是”风格化对比”或者”跨界融合”的时候——比如故意做”照片里出现的动漫角色”这种视觉梗,或者做”二次元画风的真实产品”这类创意海报。这种情况下混用是有意识的,而且通常需要配合 ControlNet 来稳定结构,不是单纯堆 LoRA。
除此之外,日常出图请把”底模和目标内容必须是同一路”当成铁律。
五、选模型前的两项硬检查
在 LiblibAI 上点开一个模型详情页,滑到底部,有两项必须都打钩。这不是可选项,是准入门槛。
5.1 兼容 LoRA 是否打钩
详情页底部会标明这个底模”兼容 LoRA”。如果这一项没打钩,意味着这个模型的结构和主流 LoRA 的训练方式不兼容,挂上去大概率没效果,或者效果诡异(比如角色 LoRA 只改变发色不改脸,或者反过来只改脸不改衣服)。
为什么会有不兼容的情况?因为 LoRA 是在特定架构的底模上训练的,如果底模在微调时对注意力层的结构做了改动,LoRA 的注入点就对不上了。这属于技术层面的硬伤,跟你选哪个 LoRA 无关。
5.2 支持 ControlNet 是否打钩
同理,ControlNet 也需要底模支持。如果这一项没打钩,你就没法用 ControlNet 去控制结构,只能用文字描述去碰运气。对于需要精确构图的场景(产品图、角色立绘定稿、分镜),这是致命的。
5.3 两项都打钩之后的下一步
两项都通过,说明这个底模的生态是完整的。但”能用”不等于”好用”,接下来还要做一次实际验证:
- 用最简单的提示词出一张图,看基础质感对不对;
- 挂一个你常用的角色 LoRA,权重 0.6,看角色是否被正确识别;
- 挂一个 ControlNet(比如 OpenPose),看结构是否被正确约束;
- 三项都正常,这个底模可以进你的常用库。
整个过程 10 分钟不到,但能帮你省掉后面几小时的瞎调。这就是模型选型阶段该花的钱。
六、LoRA 选型的四个信号
底模定下来之后,下一个决策是挂哪个 LoRA。LiblibAI 上同名的 LoRA 可能有三五个,质量差距巨大。怎么挑?看四个信号,按顺序看。
6.1 信号一:作者有没有蓝 V 实名认证
蓝 V 实名认证是平台对作者身份的一道背书。它不能保证作品质量,但能过滤掉相当一部分搬运和套壳。一个没有认证、作品风格又高度不一致的账号,大概率是个四处搬运的号。
判断的时候要注意:认证只是最低门槛。有认证的作者也会出烂模型,所以这一项过了之后,还要看后面三项。
6.2 信号二:近 30 天作者是否在评论区答疑
这一项比认证更能说明问题。打开模型详情页往下滑,看评论区。如果近 30 天内作者有回复(哪怕是”这个问题我下个版本修”这种),说明这个作者还在维护这个模型。
为什么重要?因为 LoRA 是需要迭代的。底模更新了、发现训练集有偏差了、用户反馈某个权重区间崩了,活跃的作者会把这些问题修掉。一个两年没回过评论的模型,你遇到的问题大概率永远没人管。
具体怎么看:数一下最近 20 条评论里作者回复的条数,以及回复的时间间隔。如果作者基本每条都回、间隔在一两天内,这属于非常健康的维护状态。如果只有零星几条回复且都在两年前,慎重。
6.3 信号三:评论区的抱怨集中在哪
评论区是免费的质量报告。重点不是看好评,是看差评的具体内容,以及这些差评是不是同一类问题。
- 可修复的抱怨:”权重 0.8 以上会崩””换个底模效果就不对了””某个特定角度不稳定”——这类是使用边界问题,通常有解法。
- 不可修复的抱怨:”脸根本不像””训练集有重复图””手部全是六指””背景总是出现奇怪的文字”——这类是训练集本身的问题,挂什么权重都救不回来。
如果同一个问题在评论区出现 3 次以上且作者没修,这个 LoRA 就别用了。
6.4 信号四:作品关联页的实际案例质量
这是四个信号里最有说服力的一个,也是最容易被忽略的。LiblibAI 的 LoRA 详情页通常会有”作品关联”区域,展示用这个 LoRA 生成的实际案例。
看案例的时候,不要看那几张作者自己挑的封面图,要往下翻,看普通用户上传的作品。判断三点:
- 案例的数量:50 张以上说明有真实用户在用;只有三五张是作者自产自销。
- 案例的多样性:不同角度、不同场景、不同光照下角色是否还稳定。如果所有案例都是同一张脸同一个姿势,说明这个 LoRA 泛化能力差。
- 案例的底模分布:如果所有案例都用了同一个底模,说明这个 LoRA 对底模很挑;如果跨了多个底模还能保持一致,说明兼容性好。
6.4.1 四个信号的权重排序
这四个信号不是等权的。作品关联页占 40%,评论区维护占 30%,抱怨类型占 20%,蓝 V 认证占 10%。前者是结果,后者是背景。背景好不等于结果好,但结果好一定是硬指标。
6.4.2 一个快速筛选法
时间紧的时候,用这个 30 秒筛选法:打开详情页,先滑到作品关联页,随机点开 5 张普通用户的作品,如果 4 张以上看起来像同一个人物、且画质过关,这个 LoRA 可以用。如果做不到,直接关掉看下一个。
七、LoRA 权重的甜区与超限后果
选对了 LoRA,权重怎么给?这是最容易翻车的地方,也是最容易形成”玄学”认知的地方。先把结论放出来。
7.1 甜区:0.5-0.8
绝大多数角色 LoRA 和画风 LoRA 的有效权重区间是 0.5-0.8。这个区间内的效果是:LoRA 的特征清晰可辨,但底模的质感、光影、色彩基线仍然占主导。画面看起来是”底模的画风 + LoRA 的角色”。
这个区间的细微差别:
- 0.5-0.6:LoRA 特征偏弱,适合”想要一点感觉但不要抢戏”的场合,比如角色在远景、侧脸、大量遮挡的场景。也适合多 LoRA 叠加时的配角 LoRA。
- 0.6-0.7:最常用的区间。角色特征清晰,底模质感保留完整。日常出图默认从这里开始。
- 0.7-0.8:角色特征强烈,适合需要强调角色的场景(人物特写、封面图)。此时底模的质感开始被轻微压制,但整体还在可接受范围。
7.2 超过 0.9:不是加强,是换模
这句话值得单独强调:LoRA 权重 0.9 以上不是加强而是换模。
很多人以为权重调高就是”让这个 LoRA 效果更明显”,所以一直往上加,加到 1.0、1.2、1.5。但实际发生的事完全不是”加强”。
LoRA 的原理是往底模的权重里注入偏移量。当偏移量足够大时,底模原有的结构会被覆盖,画面从”底模 + LoRA 特征”变成”LoRA 训练集的记忆复现”。也就是说,权重 0.9 以上的时候,你生成的不再是”底模画风下的这个角色”,而是”这个 LoRA 训练集里的某张图的近亲”。
具体后果是这个样子的:
| 权重区间 | 实际效果 | 典型症状 | 适用场景 |
|---|---|---|---|
| 0.3-0.4 | 轻微暗示,几乎看不出 | 角色只有发色或服饰沾点边 | 多角色同框时的次要角色 |
| 0.5-0.6 | 特征可辨,底模主导 | 正脸像,侧脸略有偏差 | 远景、侧脸、遮挡多的场景 |
| 0.6-0.7 | 核心甜区,两者平衡 | — | 日常默认值 |
| 0.7-0.8 | 角色主导,质感略压 | 皮肤开始变得过分光滑 | 人物特写、封面、宣传图 |
| 0.85-0.9 | 临界,结构开始塌 | 构图僵化、背景细节消失、姿势单一 | 不推荐 |
| 0.9 以上 | 实质换模,底模被覆盖 | 画面变成训练集的翻版、背景被抹平、光影变平 | 不要用 |
| 1.2 以上 | 崩坏 | 色块、噪点、肢体畸形、文字乱码 | 无 |
7.2.1 为什么调高权重反而”不像”
这个反直觉现象很多人遇到过:权重 0.6 的时候角色挺像,调到 0.9 反而觉得不像了。原因就是上面说的:高权重下生成的是训练集某张具体图片的近似,而不是”这个角色的抽象特征”。如果训练集里那张图的角度、光照、表情跟你要的不一样,出来的就是”一个长得像但感觉不对的人”。
7.2.2 权重超过 0.9 时底模会”死”
还有一个更隐蔽的后果:底模的质感会消失。你会发现肤色不对了、光影变平了、背景变成糊成一片的色块、连镜头的景深都不见了。这不是幻觉,是底模的输出被 LoRA 的偏移量压到了很低的权重占比。
所以”用高权重来获得更强的角色一致性”是个错误的方向。角色一致性靠的是选对 LoRA 和选对底模,不是靠拉权重。
7.3 多 LoRA 叠加时的权重分配
实际工作中经常需要同时挂多个 LoRA:一个角色、一个画风、一个服饰、一个道具。这时候权重怎么分?
基本规则:总权重不要超过 1.8。超过这个数,几个 LoRA 会互相打架,画面变成各种特征的拼贴,哪一项都不完整。
推荐的分配方式:
- 角色 LoRA:0.6-0.7(主角)
- 画风 LoRA:0.4-0.5(如果底模本身画风已经够了,可以省掉)
- 服饰 / 道具 LoRA:0.4-0.5(越具体的东西权重越低)
一个常见的组合是 0.65 + 0.45 + 0.4 = 1.5,这个配比在实践中比较稳。如果你发现某个 LoRA 在这个组合里完全没效果,不要直接加到 0.9,先确认它和底模是否兼容、和其他 LoRA 是否有特征冲突。
7.4 LoRA 调用的写法
各种工具的写法略有差异,但核心结构是一样的:lora:模型名:权重。下面给出常见写法和一个可复用的模板。
# 单 LoRA(最基础写法)
1girl, standing, white dress, soft light,
<lora:char_yuki_v3:0.65>
# 多 LoRA 叠加(角色 + 画风 + 服饰)
masterpiece, 1girl, upper body, outdoor,
<lora:char_yuki_v3:0.65>,
<lora:style_inkwash_v2:0.45>,
<lora:cloth_hanfu_v1:0.4>
# 注意点:
# 1. 权重写在小数点后两位,0.65 比 0.7 更细腻
# 2. LoRA 触发词放在最前面,用逗号分隔
# 3. 不同底模的实际生效阈值不同,F.1 系普遍比 SDXL 系耐受高 0.05-0.1
# 4. 一个提示词里挂超过 4 个 LoRA 时,画面必然出现特征打架
如果你的工具是 WebUI 风格的面板,LoRA 通常是以卡片形式插入的,插入后可以单独调权重,效果和上面的写法完全一样。在线生成页面里,LiblibAI 会把权重放在滑块上,拖到对应数值即可。
八、组合验证流程:先小批量,再放量
组合定下来之后,不要直接开跑 50 张。先用少量图做验证,确认底模 + LoRA 这个组合是好的,再放量。这套流程能把废图率从 60% 降到 10% 以下。
8.1 第一步:纯底模基线(4 张)
第一步不挂任何 LoRA,只用底模出 4 张图。提示词写最基础的内容,比如”1girl, portrait, natural light”。目的是建立一个基线:这个底模在你目标分辨率下,出图是什么质感、什么光影、什么色彩。
这 4 张图要保存好,后面每一步都拿它们对照。判断标准是:这 4 张里至少 3 张的质感是你要的。如果只有 1 张能看,问题在底模,不在 LoRA,换底模。
8.2 第二步:挂 LoRA 低权重(4 张)
挂上角色 LoRA,权重设 0.5,同样出 4 张。目的是看 LoRA 是否被正确识别。判断标准:角色的关键特征(发色、瞳色、标志性服饰)是否出现。如果 4 张里一张都没出现,说明 LoRA 和底模不兼容,或者触发词写错了。
8.3 第三步:爬升权重(4-6 张)
权重从 0.5 提到 0.6、0.7、0.8,每个档位出 1-2 张。目的是找甜点。判断标准:在哪个权重下,角色特征最像,同时底模的质感还没有被明显压制。找到这个点,就把它定成默认权重。
8.4 第四步:加 ControlNet(2 张)
挂上 ControlNet,用一张参考图约束姿势。目的是验证结构控制是否生效。判断标准:生成的姿势是否与参考图一致,同时角色和质感没有崩。如果姿势对了但脸崩了,说明 ControlNet 权重太高,降低到 0.6 左右再试。
8.5 第五步:边界压力测试(2 张)
故意用极端条件出一张:侧脸、背面、大透视、强逆光、多人同框。目的是看这个组合的边界在哪。判断标准:哪种条件下会崩,崩的方式是什么(五官乱、肢体重复、衣服穿模)。这些边界要记下来,后面正式出图时避开。
8.6 组合验证清单(模型选型必过关卡)
把上面五步做成一个可勾选的清单,每次换组合都走一遍。总耗时 15-25 分钟,出图 16-20 张。
| 步骤 | 检查项 | 通过标准 | 不通过的处理 |
|---|---|---|---|
| 1. 底模基线 | 质感、光影、色彩是否是目标风格 | 4 张中至少 3 张质感对 | 换底模,不要往下走 |
| 2. LoRA 低权重 | 角色关键特征是否出现 | 4 张中至少 3 张能认出角色 | 检查触发词、确认底模兼容 LoRA |
| 3. 权重爬升 | 找到角色最像且质感未崩的权重 | 存在一个权重值同时满足两点 | 说明该 LoRA 与底模不匹配,换 LoRA |
| 4. ControlNet | 姿势、结构是否被约束住 | 姿势与参考图一致,角色未崩 | 降 ControlNet 权重到 0.6,或换控制类型 |
| 5. 边界测试 | 极端角度、光照、多人的表现 | 记录崩溃条件,形成”避坑清单” | —(这一步是记录,不是修复) |
| 6. 分辨率对齐 | 出图分辨率是否在底模舒适区 | 符合底模推荐尺寸 | 调整到推荐尺寸,不要硬拉 |
| 7. 复现测试 | 固定种子重出一次 | 结果高度一致 | 检查是否有随机因素(如提示词顺序) |
8.6.1 为什么第七步要固定种子
固定种子重出一次,能验证你的组合是否稳定。如果同一个种子、同样的参数,两次出图结果差异很大,说明有某个环节存在随机性(比如某些在线服务会自动加随机负面词),这在批量出图时会导致风格不统一。
8.6.2 验证通过之后怎么批量
验证通过后,批量出图的策略是”锁种子 + 锁参数 + 只改提示词”。种子固定,其他参数固定,只换提示词里的动作、场景、表情描述。这样出来的图风格高度一致,也方便后期做统一调色。
如果在批量过程中有某几张明显不对,用图生图迭代或者局部重绘去修,而不是重新生成。LiblibAI 的在线生成支持这两种方式,局部重绘改手指、改眼神、改衣服褶皱特别有效,比重新出一张快 5-10 倍。
九、LiblibAI 与通义万相:两种完全不同的定位
讲完组合体系,该说平台了。LiblibAI 和通义万相经常被放在一起比较,但说实话这两个东西不是同一类产品,放在一起比”谁更好”是没意义的。它们的定位差别比你想象的大。
9.1 LiblibAI:模型超市 + 训练台
LiblibAI 的核心是一句话:模型生态。它同时做三件事——模型社区(大量玩家上传的 Checkpoint 和 LoRA)、在线生成(在网页上直接用这些模型出图)、训练平台(你可以自己训 LoRA)。
这种定位的好处是自由度极高。你想要什么样的质感,社区里大概率有人做过;你想要的某个角色,可能已经有 LoRA;如果没有,你可以自己训一个。整个生态是活的,每天都有新东西。
代价是学习曲线陡。你得懂底模怎么选、LoRA 怎么挂、权重怎么调、分辨率怎么配。这套知识就是本文前面八节在讲的东西。对完全的新手来说,LiblibAI 的第一周会很痛苦。
9.2 通义万相:开箱即用的模型与 API
通义万相是阿里通义系列下的图像生成产品,涵盖文生图、图生图、创意海报等能力,可以通过阿里云百炼平台调用 API,也有网页端的产品入口。
它的优势集中在两点:
一是中文语义理解好。作为国产模型,它对中文提示词的处理明显比很多海外模型顺,尤其是涉及”国风””东方美学”这类带文化语境的描述时,理解得更准。你写”水墨风格的江南水乡,青灰色调,薄雾”,它不需要你先翻译成英文再想半天。
二是开箱即用。你不需要选底模、不需要挂 LoRA、不需要配分辨率,输入描述,出图。后端已经把这套东西包好了。对做运营物料、做批量配图、做电商详情的团队,这个便利性很有价值。
代价是可控性弱。你没法像在 LiblibAI 那样精确控制”用哪个底模 + 哪个 LoRA + 权重多少”。你只能在它给的范围内调提示词和几个基础参数。
9.3 对比表
| 维度 | LiblibAI | 通义万相 |
|---|---|---|
| 核心定位 | 模型社区 + 在线生成 + 训练平台 | 开箱即用的图像生成模型与 API |
| 模型来源 | 社区作者上传,海量可选(Checkpoint / LoRA / ControlNet) | 官方统一提供的模型,不可自定义 |
| 可控性 | 极高:底模、LoRA、权重、种子、采样器全部可调 | 中等:以提示词和基础参数为主 |
| 学习成本 | 高,需要理解三层结构 | 低,输入描述即可出图 |
| 中文语义 | 取决于底模和 LoRA,质量参差 | 原生优化,中文与国风场景理解好 |
| 自训能力 | 有训练平台,可训 LoRA | 无 |
| 接入方式 | 网页端在线生成 | 网页端 + 阿里云百炼 API |
| 批量与自动化 | 手动为主 | API 调用,适合程序化批量 |
| 典型用户 | 插画师、角色设计师、需要独家风格的个人 | 运营、电商、内容团队、需要接入产品的开发者 |
| 风格一致性 | 靠组合锁定,可做到极高 | 靠提示词,跨批次一致性较弱 |
9.4 怎么选:按任务类型分,不按优劣分
给一个简单的决策法:
- 需要独家角色、独家画风、长期稳定的视觉体系 → 走 LiblibAI。你需要训练自己的 LoRA,或者组合出一个别人没有的配方。
- 需要快速出量、内容以中文语境为主、要接入产品 → 走通义万相。省下来的时间比什么都值钱。
- 两者都要 → 这是最常见的真实情况。用通义万相做前期概念探索和批量物料,用 LiblibAI 做核心视觉的定稿和角色体系搭建。
很多团队的成熟做法就是这样混合:先用通义万相快速试 20 个方向,挑出 2-3 个方向,再在 LiblibAI 上用精确的模型选型把它们做成可复用的资产。
十、自训 LoRA 的最简参数配方
当社区里找不到合适的 LoRA 时,自己训一个是最优解。这里不讲全流程,只给关键参数——足够你训出第一版可用的东西。
10.1 模型选型之外的自训准备:20-50 张同风格正方形图
数量:20-50 张。少于 20 张,模型学不到足够特征;多于 50 张,训练时间线性增长,但效果提升边际递减,而且素材里混进低质量图的风险变大。
要求:
- 同风格:如果你想训一个角色,所有素材必须是同一个角色,不能混入”看起来差不多”的其他人。混了就会训出”平均脸”。
- 正方形:768×768 或 1024×1024。尺寸要统一,训练脚本默认按同一尺寸切图,混着来会导致训练不稳定。
- 多角度:正脸、侧脸、半侧、全身、半身、不同光照,尽量覆盖。全是一个角度训出来的 LoRA,换个角度就崩。
10.2 命名规范:半角下划线 + 英文
这一条看起来像小事,但踩过坑的人都知道有多坑。文件名必须是半角下划线连接英文,不能有中文、空格、全角字符、括号、加号。
正确:yuki_face_01.png、yuki_side_02.png、yuki_full_03.png
错误:雪见 正脸.png、雪见(1).png、yuki face 01.png、雪见_正面_01.png
为什么?训练脚本读取文件名时会做字符串处理,中文和全角字符在不同编码下会出现乱码,导致 caption 文件丢失或者读取失败。很多人训到一半报错,查了半天发现是文件名的问题。
10.3 关键参数表
下面这张表是核心。参数值针对角色类和风格类分别给出,因为两者的最佳配置不一样。
| 参数 | 角色类 LoRA | 风格类 LoRA | 说明 |
|---|---|---|---|
| 素材数量 | 20-40 张 | 30-50 张 | 风格类比角色类需要更多样本 |
| 素材尺寸 | 768×768 或 1024×1024 | 同左 | 必须统一为正方形 |
| 学习率 | 约 4e-4 | 约 3e-4 | 风格类降低,避免过拟合 |
| 调度器 | cosine with warmup | cosine with warmup | 预热后余弦衰减,收敛更稳 |
| Repeat | 5-8 | 5-8 | 每张图重复次数 |
| Epoch | 5 和 8 各训一版 | 5 和 8 各训一版 | 对比挑优,不完全依赖单次结果 |
| 混合精度 | 关闭 | 关闭 | 云端开启易出 NaN Loss |
| 推荐出图权重 | 0.6-0.7 | 0.45-0.6 | 风格类普遍比角色类低 |
10.4 为什么必须关掉混合精度
混合精度训练(FP16)在本地显卡上通常没问题,但在云端训练环境里容易出现 NaN Loss——损失值变成”非数字”,训练直接崩掉或者输出一个全灰的模型。
原因跟云端的硬件和精度损失累积有关,具体机制不必深究,记住操作就行:在云端训 LoRA,把混合精度关掉,用完整精度跑。代价是训练速度慢 30%-50%,但换来的是不崩。这个买卖很划算。
10.5 Epoch 5 和 8 各训一版的原因
很多人训一遍就完了,出图不满意就改参数重训。更高效的做法是一次训两版:Epoch 5 和 Epoch 8。
Epoch 5 的版本通常”欠拟合”一点,角色特征学到了一部分,但还保留了底模的灵活性,适合出多样化的图。Epoch 8 的版本”过拟合”一点,角色特征很死,但换个角度就容易崩,适合出标准的角色卡。
两版拿到手,实际出图对比,往往能发现 Epoch 6-7 左右才是最理想的中间态,这时候再单独训一次那个 epoch 数,就是你的最优解。
10.6 一个可复用的训练配置模板
把上面的关键参数整理成一份可以直接对照修改的配置清单。不同训练工具的参数名不一样,但语义是一致的。
# ===== 角色 LoRA 训练配置(最简版)=====
base_model: SDXL 1024 基础底模(与出图底模保持同系)
train_data_dir: ./dataset/yuki/ # 20-40 张,768 或 1024 正方形
resolution: 1024
learning_rate: 4e-4 # 风格类改 3e-4
lr_scheduler: cosine_with_warmup
warmup_ratio: 0.05
repeat: 6 # 5-8 之间
epoch: 5 # 另外再跑一版 epoch 8
mixed_precision: no # 云端必须关闭
batch_size: 1-2
save_every_n: 1
network_dim: 32 # 角色类 32,风格类可 64
network_alpha: 16
caption_ext: .txt # 与图片同名
# ===== 训练后自测 =====
# 权重 0.6 出 4 张正脸,0.7 出 2 张侧脸,看是否崩
# 若 0.5 还没反应 → 素材太杂或学习率偏低
# 若 0.6 就过拟合 → epoch 降到 3-4,或素材扩充 10 张
十一、一套完整的组合配置模板
最后给一份完整可抄的组合配置。这个模板把前面所有内容串起来,可以直接改成你的。
11.1 场景一:写实角色立绘
# ===== 组合 A:写实人像(商业委托)=====
checkpoint: F.1 写实分支
resolution: 1024 x 1344
lora:
- char_xxx: 0.65 # 角色
- style_softlight: 0.4 # 柔光风格(可选)
controlnet:
- openpose: 0.7 # 姿态约束
- depth: 0.5 # 空间层次(可选)
sampler: DPM++ 2M Karras
steps: 28
cfg: 5.5
negative: lowres, bad anatomy, extra fingers, watermark, text
# 验证要点:
# - 0.65 权重下,脸像且皮肤还有真实毛孔
# - 若皮肤变成塑料感 → 角色 LoRA 降到 0.6
# - 若姿势跟参考图差太远 → ControlNet 提到 0.8
11.2 场景二:二次元角色卡
# ===== 组合 B:动漫角色卡 =====
checkpoint: SDXL Anime 系 或 厚涂版 Seedream 4.5
resolution: 1024 x 1024(立绘)/ 1024 x 1536(竖版)
lora:
- char_xxx: 0.7 # 角色
- style_cel: 0.45 # 赛璐璐上色
controlnet: 无(角色卡通常不需要)
sampler: Euler a
steps: 30
cfg: 7
negative: photorealistic, 3d, realistic skin, blurry, watermark
# 注意:负面词要压住"写实",否则容易滑向半写实
11.3 场景三:材质特写(PVC / 金属)
# ===== 组合 C:手办 / 机甲材质 =====
checkpoint: Foundation1.0 或同系材质优化底模
resolution: 1024 x 1024
lora:
- material_pvc: 0.5 # 材质强化
- char_mecha: 0.6 # 具体模型/角色
controlnet:
- canny: 0.6 # 轮廓锁定(产品图常用)
sampler: DPM++ SDE Karras
steps: 35
cfg: 6
negative: flat lighting, matte, cloth, human skin, text
# 验证要点:
# - 金属高光要有明确形状,不能一整块死白
# - PVC 边缘要泛光,不能整体发蜡
11.4 场景四:国风插画
# ===== 组合 D:国风水墨插画 =====
checkpoint: SDXL 插画专用分支(水墨向)或 Foundation1.0
resolution: 1024 x 1536(竖幅)
lora:
- style_inkwash: 0.55 # 水墨画风
- char_guofeng: 0.55 # 国风人物
controlnet:
- lineart: 0.55 # 线稿约束,保持笔意
sampler: DPM++ 2M Karras
steps: 30
cfg: 6.5
negative: photo, 3d render, plastic, oversaturated, western style
# 提示词建议用中文直接写,底模若是国产优化款,
# "留白""飞白""墨分五色"这类词能被正确理解
十二、常见误区与经验总结
12.1 模型选型的五个高频误区
12.1.1 误区一:先找 LoRA 再定底模
顺序反了。底模是地基,LoRA 是装饰。先定底模,再找能挂在它上面的 LoRA。如果某个 LoRA 你特别喜欢但它适配的底模不适合你的目标,放弃它,或者自己训一个同角色的。
12.1.2 误区二:用权重解决兼容问题
不兼容的 LoRA 和底模,调权重是没用的。0.3 没效果,0.9 就崩,中间没有可用的档位。遇到这种情况直接换组合。
12.1.3 误区三:分辨率拉高就有细节
分辨率超出底模训练范围,得到的是失真不是细节。想要更大尺寸,正确做法是在合适分辨率下生成,再做高清放大或者扩图。
12.1.4 误区四:以为提示词能弥补模型选型的失误
很多人把希望寄托在提示词上:底模不对,就加词补救;LoRA 不像,就加词强调。这条路走不通。在组合正确的前提下,提示词 30-60 个词足够。100 个词以上的提示词,后面的词权重被稀释得几乎无效,还会互相干扰。
12.1.5 误区五:一次挂五个 LoRA 就是”精确控制”
三个以上就开始打架。真正的精确控制来自选对底模和选对 LoRA,不是靠数量堆。
12.2 三条经验
第一,建立自己的组合库。每验证通过一个组合,就记录下来:底模名、LoRA 名、权重、分辨率、ControlNet 配置、样图 3 张。积累到 10 个组合,你的出图速度会有质的提升。
第二,一图一组合,别在一张图上反复换模型。一张图从开始到结束,底模和 LoRA 不变,只调提示词和种子。想换风格就新开一张图。
第三,先看作品关联页,再看模型介绍。作者写的介绍是营销文案,作品关联页里的普通用户作品才是真相。
十三、FAQ:模型选型中的六个高频问题
LiblibAI 上同一类底模有很多个,怎么快速挑出一个?
按”三个标签 + 一个验证”来。先看标签里有没有明确的 Photorealistic / Anime / 插画 / 材质定位,标签含糊的直接跳过;再看详情页底部”兼容 LoRA”和”支持 ControlNet”是否都打钩;最后看作品关联页里普通用户的作品数量和质量。三关都过,用两步验证:纯底模出 4 张看质感,挂一个常用 LoRA 出 2 张看兼容。通过就可以进常用库。
LoRA 权重到底给多少最稳?有没有一个万能值?
没有万能值,但有一个万能起点:0.65。这个值在绝大多数角色 LoRA 上都能用,特征清晰、底模质感保留完整。从 0.65 开始,往 0.6 或 0.7 微调,找到最舒服的点。千万不要一上来就给 0.85 或 1.0,那个区间不是”效果更强”,是”底模被覆盖”。
为什么我在写实底模上跑二次元提示词,五官总是怪怪的?
因为写实底模的权重里对”人脸”有真人的先验结构,它会自动补上真人的眼睑皱褶、鼻翼软骨、唇纹。这些在动漫脸上是破坏性的细节。这不是提示词的问题,底模层面的东西提示词改不动。解决办法只有一个:换动漫底模或者厚涂底模。
通义万相能不能像 LiblibAI 那样挂 LoRA、调权重?
不能。通义万相的定位是开箱即用,模型和参数都封装好了,你主要通过提示词和基础参数来控制。想要 LoRA 级别的精细控制,得走 LiblibAI 或者自己部署开源模型。不过通义万相可以通过阿里云百炼平台 API 调用,做程序化批量很方便,这是它的强项。
自己训 LoRA 总是训崩,最常见的三个原因是什么?
按出现频率排:一,文件名里有中文或全角字符,导致 caption 读取失败;二,云端开了混合精度,中途出 NaN Loss;三,素材里混了不同角色或不同风格的图,训出”平均脸”。这三条都是操作层面的,改起来很快。参数层面最常错的是学习率给太高(超过 1e-3)和 epoch 给太多(超过 12)。
组合验证要做到什么程度才算”通过”?
五个信号同时满足:纯底模出图质感对、LoRA 低权重能识别角色、存在一个权重同时满足”像”和”质感未崩”、ControlNet 姿势能被约束住、极端角度下有明确的边界记录。五条都过了,再放量。缺任何一条就放量,废图率会从 10% 涨到 50% 以上——这个差距在 50 张的批量任务里就是 4 小时的返工。









暂无评论内容