LiblibAI和通义万相模型怎么选

先说一个最容易被忽略的事实:选错底模,不是参数能救回来的问题。你可以把采样步数从 20 加到 60,把 CFG 从 7 调到 4.5,把提示词写到 300 个词,把负面词堆满一整屏——出图还是不对。因为底模决定的是整张图的「物理法则」:皮肤怎么反光、头发怎么分层、物体边缘怎么收口、光影怎么衰减。LoRA 只能在这个法则之内做加减,它改不了法则本身。

这篇模型选型教程要讲的事情很具体:在 LiblibAI 这类模型社区里,一个有经验的创作者是怎么在动手之前就把模型组合定下来的。底模赌质感,LoRA 赌角色和画风,ControlNet 赌结构,三件事各自归位,先搭好再开跑。同时也会把通义万相拉进来做对比,因为这两家的定位差别大到会影响你的整个工作方式。

一、为什么”先定组合”比”边画边调”省下三倍时间

新手最典型的工作流是这样的:打开生图页面,选一个首页推荐的模型,随手写一段中文描述,出图,不满意,加词,再出图,还是不满意,换个模型,再出图。一个小时过去,二十几张图全是废的,而且没人能说清楚到底哪一步错了。

还有一个更隐蔽的成本:模型选型这件事一旦拖到出图阶段才做,你其实是在用「画错的图」反推「该选什么模型」,这个过程本身就没有收敛点。这种工作流的根本问题在于:变量太多,一次动一个还不知道动的是哪个。模型、权重、采样器、CFG、种子、分辨率、提示词词序、负面词,全在同时变化,你得到的结果没有归因价值。你今天侥幸出一张好图,明天复现不出来。

1.1 从”试参数”到”配组合”的思维转换

成熟创作者的做法反过来:先在纸上(或者在笔记里)把组合写死。底模是哪个,版本号是多少;LoRA 挂哪几个,各自权重多少;要不要 ControlNet,用哪一种预处理器;出图分辨率定多少。这套组合定好之后,模型选型阶段其实已经结束了,后面的出图是执行,不是探索。

这个转换带来的效率差异非常直观。假设你要做一组 20 张的角色立绘:

  • 边画边调流派:平均每张图试 15-25 次才勉强能看,总耗时 6-8 小时,其中一半时间在跟不兼容的模型组合搏斗,最后风格还不统一。
  • 先定组合流派:花 20-30 分钟做好组合验证(后面会讲具体怎么做),确认底模 + LoRA 兼容后,每张图试 3-5 次就出片,总耗时 2 小时左右,风格高度一致。

差的不只是时间,是可复现性。第二组人明天还能用同样的组合再出 20 张,第一组人明天要从头再来一遍。

1.2 一个反直觉的结论:模型越少,出图越快

很多人以为收藏夹里存 50 个模型的创作者效率更高。实际情况正好相反。收藏夹里有 50 个底模的人,通常一直在几个底模之间犹豫摇摆,每张图都在”这个是不是更好”的自我怀疑里打转。真正高产的人往往长期只用 3-5 个底模,每个底模对应一类明确的产出目标,剩下的全部靠 LoRA 去适配。

这也是为什么本文会把底模单独拎出来讲三条分流路径。你不需要认识所有模型,你只需要知道:我现在要做的是写实人像、二次元角色、还是特殊材质与插画,对应哪条路。

二、三层结构:底模、LoRA、ControlNet 各管一件事

把整套体系拆开看,其实就是三层。这三层的职责边界必须划清楚,任何一层越界,整张图就塌。

2.1 底模:决定质感与美学基调

底模(Checkpoint)是地基。它决定的东西包括但不限于:画面的整体锐度、肤质的细腻程度、光影的软硬倾向、色彩的饱和度基线、构图的默认偏好、线条的有无与粗细。底模就是整张图的”出厂设置”,你后面所有操作都是在这个出厂设置上打补丁。

一个很实际的判断方法:如果你把一个底模的提示词简化到只剩”1girl”,它出来的东西仍然会带着强烈的风格印记。写实底模出来的是照片质感,动漫底模出来的是二维绘制感,插画底模出来的是笔触和色块。这个印记是擦不掉的,它就是你选这个底模的原因,也是你选错底模时的代价。

2.2 LoRA:决定角色与画风

LoRA 是在底模之上的”附加层”。它的作用是往底模的权重里注入一小段偏移量,让某个具体概念(某个人物的脸、某种画风、某类服饰、某个道具)更容易被生成出来。

关键认知在这里:LoRA 不改底模的质感天花板。你把一个写实人像 LoRA 挂在动漫底模上,出来的东西不会变成写实照片,只会变成”五官略微立体一点、但仍然二维”的奇怪存在。同样,把一个水彩画风 LoRA 挂在写实底模上,得到的是”像照片但被泼了水的糊感”,而不是水彩画。

这就是为什么LoRA 的选型必须服从底模的选择,而不是反过来。很多人的顺序搞反了:先找到一个心动的 LoRA,再去挑一个”看起来应该能用”的底模,结果两头不讨好。

2.3 ControlNet:决定结构与构图

ControlNet 是第三层,它管的是”形状”。人物站在哪里、手抬到多高、建筑是什么透视、画面里各个物体的轮廓位置——这些都可以通过 ControlNet 从参考图里提取出来,硬约束到生成过程中。

三层的分工可以这么理解:

层级 管什么 典型手段 换掉它的后果
底模(Checkpoint) 质感、光影、色彩基线、美学基调 选 Photorealistic / Anime / 插画专用底模 整张图的”物种”变了,风格漂移无法挽回
LoRA 具体角色、具体画风、特定服饰与道具 角色 LoRA、风格 LoRA、服饰 LoRA 角色不像、画风不统一,但画面骨架还在
ControlNet 轮廓、姿态、深度、线条结构 Canny / OpenPose / Depth / Lineart 构图失控,但质感和角色都还对

2.3.1 层级冲突时的优先顺序

当三层打架的时候,判断顺序是:底模 > ControlNet > LoRA。底模错了,一切白搭;ControlNet 和 LoRA 冲突(比如姿势要求手举过头顶,但角色 LoRA 训练集里全是垂手站姿),优先保 ControlNet 的结构,LoRA 权重降到 0.5 以下试试,实在不行就换角色参考图。

2.3.2 新手最容易犯的越界错误

用 LoRA 去”救”底模的错误。这是最高频的浪费。举个具体的:有人想做一个”赛博朋克风格的写实城市夜景”,选了一个偏柔和的二次元底模,然后挂三个”赛博朋克”LoRA、把权重拉到 0.85、再加一堆霓虹描述词。出来的东西是”二次元画风里塞了霓虹灯管”,质感完全不是他要的。正确做法只有一个:换成写实或者特殊材质向的底模,LoRA 降回 0.6 左右。

三、底模选型的三条分流路径

LiblibAI 上的模型数量非常大,但落到实际选型上,你只需要先回答一个问题:这张图的目标质感是什么。答案只有三种,对应三条路。

3.1 路径一:写实 —— 走 SDXL 系 Photorealistic 底模

目标是照片质感、真实人物、产品图、商业摄影风格的画面,就走写实这条路。可选的典型底模是 SDXL 系里标注为 Photorealistic 的模型,比如 F.1、xl-ill 这一类。

这条路的核心诉求是”像真的”。判断一个写实底模好不好,看三个细节:皮肤有没有真实的毛孔和不均匀的色斑(过度光滑的皮肤反而假)、高光有没有正确的衰减(鼻尖、颧骨、唇峰的高光应该是渐变的,不是一块死白)、背景虚化有没有真实的景深过渡(不是一刀切的糊)。

写实路径的陷阱:很多标着”写实”的底模其实是”半写实”——它会把皮肤处理得过于完美,五官过于标准,结果出来的是”AI 味很重的漂亮脸”,而不是真实的人。这种底模做商业人像可能还凑合,做纪录片风格、做纪实摄影、做有故事感的人物,就完全不对了。选的时候一定要看作品关联页,看它出的活人像不像活人。

3.2 路径二:二次元 / ACG —— 走 SDXL Anime 或厚涂类 Checkpoint

目标是动漫角色、游戏立绘、插画风人设、二次元场景,走第二条路。可选的是 SDXL Anime 系列底模,或者 Seedream 4.5 这一类在详情页明确标注”厚涂”的 Checkpoint。

“厚涂”这个词在二次元圈里有具体含义:不是纯色块平涂,而是有笔触堆叠、有明暗过渡、有体积感的绘制方式。标注厚涂的底模,出图会有明显的绘画感,适合游戏宣传图、小说封面、角色卡。纯 Anime 底模则更偏平涂或赛璐璐,适合番剧截图感、动态分镜、轻小说插图。

二次元路径的陷阱:这类底模对提示词里出现”photograph””realistic””film camera”之类的词非常敏感,容易把画风拽向”半写实二次元”,出来的东西既不像动漫也不像照片。如果你确实想要”二次元角色 + 写实光影”,正确的做法是选一个本身就有光影处理的厚涂底模,而不是往纯 Anime 底模上加写实词。

3.3 路径三:特殊材质与插画风格 —— 走 Foundation1.0 或 SDXL 插画专用分支

第三条路是给”非常规目标”准备的。包括两类:

特殊材质:PVC 手办的塑料质感、金属的反光与拉丝、赛博机械的结构细节。这些材质对底模的光照模型要求很高,普通写实底模出来的金属经常是”糊成一片亮”或者”像塑料镀了一层膜”,PVC 出来的感觉是”蜡像”而不是”手办”。Foundation1.0 这类底模在材质表现上有专门优化,出金属会有明确的高光形状和反射方向,出 PVC 会有那种半透的、边缘泛光的质感。

插画风格:水墨、厚涂、儿童绘本、版画、剪纸。这些风格不是”加个描述词”就能出来的,底模本身的美学基因必须匹配。你在写实底模上写”Chinese ink painting”,得到的通常是”照片被做成了水墨滤镜”,而不是真正的水墨画——因为水墨的核心是留白、飞白、墨色浓淡,这套语言写实底模没有。

有些作者会在 LiblibAI 上维护 SDXL 插画专用分支,专门针对这一类风格微调。选这类底模的时候,作品关联页比什么都重要,一定要看它出的是不是你真想要的那个味儿。

3.4 底模分流表(含推荐分辨率)

把三条路径和分辨率放在一张表里,这张表建议收藏。分辨率这一列是很多人踩坑的地方,后面会单独展开讲。

目标类型 推荐底模方向 典型代表 推荐分辨率 适配场景
写实人像 / 商业摄影 SDXL 系 Photorealistic F.1 写实分支 1024×1344(竖版人像) 人物特写、全身立像、证件风格
写实场景 / 风光 / 建筑 SDXL 系 Photorealistic F.1 写实分支 1280×768(横版场景) 城市街景、室内空间、自然风光
写实产品 / 静物 SDXL 系 Photorealistic xl-ill 等 1024×1024 商品图、美食、器物
二次元角色 / 立绘 SDXL Anime 或厚涂 Checkpoint SDXL Anime 系、Seedream 4.5 厚涂标注款 1024×1024 / 1024×1536 角色卡、游戏立绘、小说封面
二次元场景 / 分镜 SDXL Anime SDXL Anime 系 1024×1536(竖)/ 1536×1024(横) 番剧感场景、漫画分镜
特殊材质(PVC / 金属 / 机械) Foundation1.0 及同系材质优化底模 Foundation1.0 1024×1024 手办、模型、机甲、工业产品
插画风格(水墨 / 厚涂 / 绘本) Foundation1.0 或 SDXL 插画专用分支 插画分支底模 1024×1024 / 1024×1536 绘本、海报、文创、封面
老版本轻量需求 SD1.5 系列 SD1.5 生态模型 512×512 / 512×768 快速草图、低成本批量

3.4.1 分辨率必须与底模对齐,这是模型选型里的硬规则

很多人不知道,底模在训练时见过的分辨率范围是有边界的。SD1.5 的底模训练分辨率是 512,SDXL 是 1024,F.1 系在 1024 上下。你把 SDXL 底模拉到 1536×2048 去出图,得到的结果通常是人脸变形、肢体重复、手指数量失控——这不是模型差,是分辨率超出了它的舒适区。

反过来,用 SD1.5 底模在 1024×1024 下出图,画面会变得糊、细节混乱、构图发散,因为模型在这个尺度上没学过东西。

所以分辨率这一栏,本质上是底模选型的一部分,不是出图阶段才该想的事。选底模的时候,先想清楚你要出的图是什么尺寸,然后确认这个底模能不能吃得下。

3.4.2 竖版写实人像为什么推荐 1024×1344

1024×1344 这个比例大约是 3:4,接近传统人像摄影的构图比例,也是 F.1 写实分支最舒服的尺寸。在这个尺寸下,人物的头部占比、肩宽比例、背景留白都很自然,不需要额外做构图裁切。如果你需要 9:16 的手机壁纸比例,可以在这个基础上做扩图,而不是直接生成 1024×1820——后者容易让人物被拉长。

3.4.3 横版场景为什么推荐 1280×768

1280×768 是 5:3,比标准的 16:9 略宽,在 SDXL 和 F.1 系底模上表现稳定。这个比例适合街景、室内、风景这类需要横向延展的场景。如果你直接拉成 1920×1080,纵向像素不足会导致画面上下边缘的物体失真,尤其是画面顶部和底部的建筑、地面细节。

四、严禁混用:底模与内容的错配代价

上面这三条路之所以要分得这么死,是因为混用的代价比多数人想象的大得多,而且是结构性的,不是调参能修好的。

4.1 写实底模跑动漫提示词:五官解构

用写实底模去生成动漫角色,最常见的症状是”五官解构”。具体表现:眼睛会变成”过度写实的眼睛装在二维的脸上”,眼睑结构、虹膜反光、睫毛走向全都按真人来,但脸型、鼻子、嘴的处理又是动漫比例。结果是一张既不像动漫也不像真人的怪脸,俗称”恐怖谷边缘”。

为什么会这样?底模的权重里对”人脸”这个概念有自己的先验——它见过的是真实的人脸结构。你让它生成大眼睛小鼻子的动漫脸,它会本能地把真人的眼睑皱褶、鼻翼软骨、唇纹补上去。这些细节在真人脸上是加分项,在动漫脸上是灾难。

更麻烦的是,这个症状不会随着提示词变长而消失。你写”anime style, 2D, flat color, cel shading”写二十遍,出来的还是那张怪脸,只是多了一层塑料光泽。因为提示词的影响权重远小于底模的先验。

4.2 动漫底模生成真人脸:风格漂移

反过来的情况同样糟糕。用动漫底模生成真人照片,出来的通常是”过度光滑、五官标准、皮肤没有毛孔、眼神没有光”的人偶脸。这种脸在缩略图上看还行,放大一看就是”AI 画的假人”。

这个问题的专业说法叫风格漂移:底模的二维绘制基因会渗透到本该是写实的内容里,让画面在”应该有的质感”和”实际有的质感”之间反复横跳。你会看到头发是写实的一缕缕,但皮肤是动漫的平涂;衣服褶皱有真实的光影,但脸部完全没有真实的皮肤逻辑。

4.3 一个真实的排查案例

有个做儿童绘本的朋友卡了很久:他想要”水彩质感的绘本插画,人物是可爱的小女孩”,但他用的是写实底模,挂了三个水彩 LoRA,权重 0.75/0.7/0.65,写了一长串风格词,出来的图像是”照片被泼了水彩滤镜后变模糊”,完全没有绘本的清爽感。

他试了两周,调了所有能调的参数。最后我让他做一件事:把底模换成插画专用分支里的一个底模,所有水彩 LoRA 先全部摘掉,权重清零,什么都不挂,只用最简单的提示词出一张。

第一张出来就对了。那张图的笔触、色块、留白,全是他想要的那种绘本感。后面再加一个 0.6 权重的角色 LoRA,整套组合就成型了。

这个案例的价值在于:他花了两个星期在解决一个本来不存在的问题。问题从来不是”水彩效果不够强”,而是”底模根本不是画水彩的底模”。

4.4 混用的唯一合理场景

有没有例外?有,但很窄。当你要做的是”风格化对比”或者”跨界融合”的时候——比如故意做”照片里出现的动漫角色”这种视觉梗,或者做”二次元画风的真实产品”这类创意海报。这种情况下混用是有意识的,而且通常需要配合 ControlNet 来稳定结构,不是单纯堆 LoRA。

除此之外,日常出图请把”底模和目标内容必须是同一路”当成铁律。

五、选模型前的两项硬检查

在 LiblibAI 上点开一个模型详情页,滑到底部,有两项必须都打钩。这不是可选项,是准入门槛。

5.1 兼容 LoRA 是否打钩

详情页底部会标明这个底模”兼容 LoRA”。如果这一项没打钩,意味着这个模型的结构和主流 LoRA 的训练方式不兼容,挂上去大概率没效果,或者效果诡异(比如角色 LoRA 只改变发色不改脸,或者反过来只改脸不改衣服)。

为什么会有不兼容的情况?因为 LoRA 是在特定架构的底模上训练的,如果底模在微调时对注意力层的结构做了改动,LoRA 的注入点就对不上了。这属于技术层面的硬伤,跟你选哪个 LoRA 无关。

5.2 支持 ControlNet 是否打钩

同理,ControlNet 也需要底模支持。如果这一项没打钩,你就没法用 ControlNet 去控制结构,只能用文字描述去碰运气。对于需要精确构图的场景(产品图、角色立绘定稿、分镜),这是致命的。

5.3 两项都打钩之后的下一步

两项都通过,说明这个底模的生态是完整的。但”能用”不等于”好用”,接下来还要做一次实际验证:

  1. 用最简单的提示词出一张图,看基础质感对不对;
  2. 挂一个你常用的角色 LoRA,权重 0.6,看角色是否被正确识别;
  3. 挂一个 ControlNet(比如 OpenPose),看结构是否被正确约束;
  4. 三项都正常,这个底模可以进你的常用库。

整个过程 10 分钟不到,但能帮你省掉后面几小时的瞎调。这就是模型选型阶段该花的钱。

六、LoRA 选型的四个信号

底模定下来之后,下一个决策是挂哪个 LoRA。LiblibAI 上同名的 LoRA 可能有三五个,质量差距巨大。怎么挑?看四个信号,按顺序看。

6.1 信号一:作者有没有蓝 V 实名认证

蓝 V 实名认证是平台对作者身份的一道背书。它不能保证作品质量,但能过滤掉相当一部分搬运和套壳。一个没有认证、作品风格又高度不一致的账号,大概率是个四处搬运的号。

判断的时候要注意:认证只是最低门槛。有认证的作者也会出烂模型,所以这一项过了之后,还要看后面三项。

6.2 信号二:近 30 天作者是否在评论区答疑

这一项比认证更能说明问题。打开模型详情页往下滑,看评论区。如果近 30 天内作者有回复(哪怕是”这个问题我下个版本修”这种),说明这个作者还在维护这个模型。

为什么重要?因为 LoRA 是需要迭代的。底模更新了、发现训练集有偏差了、用户反馈某个权重区间崩了,活跃的作者会把这些问题修掉。一个两年没回过评论的模型,你遇到的问题大概率永远没人管。

具体怎么看:数一下最近 20 条评论里作者回复的条数,以及回复的时间间隔。如果作者基本每条都回、间隔在一两天内,这属于非常健康的维护状态。如果只有零星几条回复且都在两年前,慎重。

6.3 信号三:评论区的抱怨集中在哪

评论区是免费的质量报告。重点不是看好评,是看差评的具体内容,以及这些差评是不是同一类问题。

  • 可修复的抱怨:”权重 0.8 以上会崩””换个底模效果就不对了””某个特定角度不稳定”——这类是使用边界问题,通常有解法。
  • 不可修复的抱怨:”脸根本不像””训练集有重复图””手部全是六指””背景总是出现奇怪的文字”——这类是训练集本身的问题,挂什么权重都救不回来。

如果同一个问题在评论区出现 3 次以上且作者没修,这个 LoRA 就别用了。

6.4 信号四:作品关联页的实际案例质量

这是四个信号里最有说服力的一个,也是最容易被忽略的。LiblibAI 的 LoRA 详情页通常会有”作品关联”区域,展示用这个 LoRA 生成的实际案例。

看案例的时候,不要看那几张作者自己挑的封面图,要往下翻,看普通用户上传的作品。判断三点:

  1. 案例的数量:50 张以上说明有真实用户在用;只有三五张是作者自产自销。
  2. 案例的多样性:不同角度、不同场景、不同光照下角色是否还稳定。如果所有案例都是同一张脸同一个姿势,说明这个 LoRA 泛化能力差。
  3. 案例的底模分布:如果所有案例都用了同一个底模,说明这个 LoRA 对底模很挑;如果跨了多个底模还能保持一致,说明兼容性好。

6.4.1 四个信号的权重排序

这四个信号不是等权的。作品关联页占 40%,评论区维护占 30%,抱怨类型占 20%,蓝 V 认证占 10%。前者是结果,后者是背景。背景好不等于结果好,但结果好一定是硬指标。

6.4.2 一个快速筛选法

时间紧的时候,用这个 30 秒筛选法:打开详情页,先滑到作品关联页,随机点开 5 张普通用户的作品,如果 4 张以上看起来像同一个人物、且画质过关,这个 LoRA 可以用。如果做不到,直接关掉看下一个。

七、LoRA 权重的甜区与超限后果

选对了 LoRA,权重怎么给?这是最容易翻车的地方,也是最容易形成”玄学”认知的地方。先把结论放出来。

7.1 甜区:0.5-0.8

绝大多数角色 LoRA 和画风 LoRA 的有效权重区间是 0.5-0.8。这个区间内的效果是:LoRA 的特征清晰可辨,但底模的质感、光影、色彩基线仍然占主导。画面看起来是”底模的画风 + LoRA 的角色”。

这个区间的细微差别:

  • 0.5-0.6:LoRA 特征偏弱,适合”想要一点感觉但不要抢戏”的场合,比如角色在远景、侧脸、大量遮挡的场景。也适合多 LoRA 叠加时的配角 LoRA。
  • 0.6-0.7:最常用的区间。角色特征清晰,底模质感保留完整。日常出图默认从这里开始。
  • 0.7-0.8:角色特征强烈,适合需要强调角色的场景(人物特写、封面图)。此时底模的质感开始被轻微压制,但整体还在可接受范围。

7.2 超过 0.9:不是加强,是换模

这句话值得单独强调:LoRA 权重 0.9 以上不是加强而是换模。

很多人以为权重调高就是”让这个 LoRA 效果更明显”,所以一直往上加,加到 1.0、1.2、1.5。但实际发生的事完全不是”加强”。

LoRA 的原理是往底模的权重里注入偏移量。当偏移量足够大时,底模原有的结构会被覆盖,画面从”底模 + LoRA 特征”变成”LoRA 训练集的记忆复现”。也就是说,权重 0.9 以上的时候,你生成的不再是”底模画风下的这个角色”,而是”这个 LoRA 训练集里的某张图的近亲”。

具体后果是这个样子的:

权重区间 实际效果 典型症状 适用场景
0.3-0.4 轻微暗示,几乎看不出 角色只有发色或服饰沾点边 多角色同框时的次要角色
0.5-0.6 特征可辨,底模主导 正脸像,侧脸略有偏差 远景、侧脸、遮挡多的场景
0.6-0.7 核心甜区,两者平衡 — 日常默认值
0.7-0.8 角色主导,质感略压 皮肤开始变得过分光滑 人物特写、封面、宣传图
0.85-0.9 临界,结构开始塌 构图僵化、背景细节消失、姿势单一 不推荐
0.9 以上 实质换模,底模被覆盖 画面变成训练集的翻版、背景被抹平、光影变平 不要用
1.2 以上 崩坏 色块、噪点、肢体畸形、文字乱码 无

7.2.1 为什么调高权重反而”不像”

这个反直觉现象很多人遇到过:权重 0.6 的时候角色挺像,调到 0.9 反而觉得不像了。原因就是上面说的:高权重下生成的是训练集某张具体图片的近似,而不是”这个角色的抽象特征”。如果训练集里那张图的角度、光照、表情跟你要的不一样,出来的就是”一个长得像但感觉不对的人”。

7.2.2 权重超过 0.9 时底模会”死”

还有一个更隐蔽的后果:底模的质感会消失。你会发现肤色不对了、光影变平了、背景变成糊成一片的色块、连镜头的景深都不见了。这不是幻觉,是底模的输出被 LoRA 的偏移量压到了很低的权重占比。

所以”用高权重来获得更强的角色一致性”是个错误的方向。角色一致性靠的是选对 LoRA 和选对底模,不是靠拉权重。

7.3 多 LoRA 叠加时的权重分配

实际工作中经常需要同时挂多个 LoRA:一个角色、一个画风、一个服饰、一个道具。这时候权重怎么分?

基本规则:总权重不要超过 1.8。超过这个数,几个 LoRA 会互相打架,画面变成各种特征的拼贴,哪一项都不完整。

推荐的分配方式:

  • 角色 LoRA:0.6-0.7(主角)
  • 画风 LoRA:0.4-0.5(如果底模本身画风已经够了,可以省掉)
  • 服饰 / 道具 LoRA:0.4-0.5(越具体的东西权重越低)

一个常见的组合是 0.65 + 0.45 + 0.4 = 1.5,这个配比在实践中比较稳。如果你发现某个 LoRA 在这个组合里完全没效果,不要直接加到 0.9,先确认它和底模是否兼容、和其他 LoRA 是否有特征冲突。

7.4 LoRA 调用的写法

各种工具的写法略有差异,但核心结构是一样的:lora:模型名:权重。下面给出常见写法和一个可复用的模板。

# 单 LoRA(最基础写法)
1girl, standing, white dress, soft light,
<lora:char_yuki_v3:0.65>

# 多 LoRA 叠加(角色 + 画风 + 服饰)
masterpiece, 1girl, upper body, outdoor,
<lora:char_yuki_v3:0.65>,
<lora:style_inkwash_v2:0.45>,
<lora:cloth_hanfu_v1:0.4>

# 注意点:
# 1. 权重写在小数点后两位,0.65 比 0.7 更细腻
# 2. LoRA 触发词放在最前面,用逗号分隔
# 3. 不同底模的实际生效阈值不同,F.1 系普遍比 SDXL 系耐受高 0.05-0.1
# 4. 一个提示词里挂超过 4 个 LoRA 时,画面必然出现特征打架

如果你的工具是 WebUI 风格的面板,LoRA 通常是以卡片形式插入的,插入后可以单独调权重,效果和上面的写法完全一样。在线生成页面里,LiblibAI 会把权重放在滑块上,拖到对应数值即可。

八、组合验证流程:先小批量,再放量

组合定下来之后,不要直接开跑 50 张。先用少量图做验证,确认底模 + LoRA 这个组合是好的,再放量。这套流程能把废图率从 60% 降到 10% 以下。

8.1 第一步:纯底模基线(4 张)

第一步不挂任何 LoRA,只用底模出 4 张图。提示词写最基础的内容,比如”1girl, portrait, natural light”。目的是建立一个基线:这个底模在你目标分辨率下,出图是什么质感、什么光影、什么色彩。

这 4 张图要保存好,后面每一步都拿它们对照。判断标准是:这 4 张里至少 3 张的质感是你要的。如果只有 1 张能看,问题在底模,不在 LoRA,换底模。

8.2 第二步:挂 LoRA 低权重(4 张)

挂上角色 LoRA,权重设 0.5,同样出 4 张。目的是看 LoRA 是否被正确识别。判断标准:角色的关键特征(发色、瞳色、标志性服饰)是否出现。如果 4 张里一张都没出现,说明 LoRA 和底模不兼容,或者触发词写错了。

8.3 第三步:爬升权重(4-6 张)

权重从 0.5 提到 0.6、0.7、0.8,每个档位出 1-2 张。目的是找甜点。判断标准:在哪个权重下,角色特征最像,同时底模的质感还没有被明显压制。找到这个点,就把它定成默认权重。

8.4 第四步:加 ControlNet(2 张)

挂上 ControlNet,用一张参考图约束姿势。目的是验证结构控制是否生效。判断标准:生成的姿势是否与参考图一致,同时角色和质感没有崩。如果姿势对了但脸崩了,说明 ControlNet 权重太高,降低到 0.6 左右再试。

8.5 第五步:边界压力测试(2 张)

故意用极端条件出一张:侧脸、背面、大透视、强逆光、多人同框。目的是看这个组合的边界在哪。判断标准:哪种条件下会崩,崩的方式是什么(五官乱、肢体重复、衣服穿模)。这些边界要记下来,后面正式出图时避开。

8.6 组合验证清单(模型选型必过关卡)

把上面五步做成一个可勾选的清单,每次换组合都走一遍。总耗时 15-25 分钟,出图 16-20 张。

步骤 检查项 通过标准 不通过的处理
1. 底模基线 质感、光影、色彩是否是目标风格 4 张中至少 3 张质感对 换底模,不要往下走
2. LoRA 低权重 角色关键特征是否出现 4 张中至少 3 张能认出角色 检查触发词、确认底模兼容 LoRA
3. 权重爬升 找到角色最像且质感未崩的权重 存在一个权重值同时满足两点 说明该 LoRA 与底模不匹配,换 LoRA
4. ControlNet 姿势、结构是否被约束住 姿势与参考图一致,角色未崩 降 ControlNet 权重到 0.6,或换控制类型
5. 边界测试 极端角度、光照、多人的表现 记录崩溃条件,形成”避坑清单” —(这一步是记录,不是修复)
6. 分辨率对齐 出图分辨率是否在底模舒适区 符合底模推荐尺寸 调整到推荐尺寸,不要硬拉
7. 复现测试 固定种子重出一次 结果高度一致 检查是否有随机因素(如提示词顺序)

8.6.1 为什么第七步要固定种子

固定种子重出一次,能验证你的组合是否稳定。如果同一个种子、同样的参数,两次出图结果差异很大,说明有某个环节存在随机性(比如某些在线服务会自动加随机负面词),这在批量出图时会导致风格不统一。

8.6.2 验证通过之后怎么批量

验证通过后,批量出图的策略是”锁种子 + 锁参数 + 只改提示词”。种子固定,其他参数固定,只换提示词里的动作、场景、表情描述。这样出来的图风格高度一致,也方便后期做统一调色。

如果在批量过程中有某几张明显不对,用图生图迭代或者局部重绘去修,而不是重新生成。LiblibAI 的在线生成支持这两种方式,局部重绘改手指、改眼神、改衣服褶皱特别有效,比重新出一张快 5-10 倍。

九、LiblibAI 与通义万相:两种完全不同的定位

讲完组合体系,该说平台了。LiblibAI 和通义万相经常被放在一起比较,但说实话这两个东西不是同一类产品,放在一起比”谁更好”是没意义的。它们的定位差别比你想象的大。

9.1 LiblibAI:模型超市 + 训练台

LiblibAI 的核心是一句话:模型生态。它同时做三件事——模型社区(大量玩家上传的 Checkpoint 和 LoRA)、在线生成(在网页上直接用这些模型出图)、训练平台(你可以自己训 LoRA)。

这种定位的好处是自由度极高。你想要什么样的质感,社区里大概率有人做过;你想要的某个角色,可能已经有 LoRA;如果没有,你可以自己训一个。整个生态是活的,每天都有新东西。

代价是学习曲线陡。你得懂底模怎么选、LoRA 怎么挂、权重怎么调、分辨率怎么配。这套知识就是本文前面八节在讲的东西。对完全的新手来说,LiblibAI 的第一周会很痛苦。

9.2 通义万相:开箱即用的模型与 API

通义万相是阿里通义系列下的图像生成产品,涵盖文生图、图生图、创意海报等能力,可以通过阿里云百炼平台调用 API,也有网页端的产品入口。

它的优势集中在两点:

一是中文语义理解好。作为国产模型,它对中文提示词的处理明显比很多海外模型顺,尤其是涉及”国风””东方美学”这类带文化语境的描述时,理解得更准。你写”水墨风格的江南水乡,青灰色调,薄雾”,它不需要你先翻译成英文再想半天。

二是开箱即用。你不需要选底模、不需要挂 LoRA、不需要配分辨率,输入描述,出图。后端已经把这套东西包好了。对做运营物料、做批量配图、做电商详情的团队,这个便利性很有价值。

代价是可控性弱。你没法像在 LiblibAI 那样精确控制”用哪个底模 + 哪个 LoRA + 权重多少”。你只能在它给的范围内调提示词和几个基础参数。

9.3 对比表

维度 LiblibAI 通义万相
核心定位 模型社区 + 在线生成 + 训练平台 开箱即用的图像生成模型与 API
模型来源 社区作者上传,海量可选(Checkpoint / LoRA / ControlNet) 官方统一提供的模型,不可自定义
可控性 极高:底模、LoRA、权重、种子、采样器全部可调 中等:以提示词和基础参数为主
学习成本 高,需要理解三层结构 低,输入描述即可出图
中文语义 取决于底模和 LoRA,质量参差 原生优化,中文与国风场景理解好
自训能力 有训练平台,可训 LoRA 无
接入方式 网页端在线生成 网页端 + 阿里云百炼 API
批量与自动化 手动为主 API 调用,适合程序化批量
典型用户 插画师、角色设计师、需要独家风格的个人 运营、电商、内容团队、需要接入产品的开发者
风格一致性 靠组合锁定,可做到极高 靠提示词,跨批次一致性较弱

9.4 怎么选:按任务类型分,不按优劣分

给一个简单的决策法:

  • 需要独家角色、独家画风、长期稳定的视觉体系 → 走 LiblibAI。你需要训练自己的 LoRA,或者组合出一个别人没有的配方。
  • 需要快速出量、内容以中文语境为主、要接入产品 → 走通义万相。省下来的时间比什么都值钱。
  • 两者都要 → 这是最常见的真实情况。用通义万相做前期概念探索和批量物料,用 LiblibAI 做核心视觉的定稿和角色体系搭建。

很多团队的成熟做法就是这样混合:先用通义万相快速试 20 个方向,挑出 2-3 个方向,再在 LiblibAI 上用精确的模型选型把它们做成可复用的资产。

十、自训 LoRA 的最简参数配方

当社区里找不到合适的 LoRA 时,自己训一个是最优解。这里不讲全流程,只给关键参数——足够你训出第一版可用的东西。

10.1 模型选型之外的自训准备:20-50 张同风格正方形图

数量:20-50 张。少于 20 张,模型学不到足够特征;多于 50 张,训练时间线性增长,但效果提升边际递减,而且素材里混进低质量图的风险变大。

要求:

  • 同风格:如果你想训一个角色,所有素材必须是同一个角色,不能混入”看起来差不多”的其他人。混了就会训出”平均脸”。
  • 正方形:768×768 或 1024×1024。尺寸要统一,训练脚本默认按同一尺寸切图,混着来会导致训练不稳定。
  • 多角度:正脸、侧脸、半侧、全身、半身、不同光照,尽量覆盖。全是一个角度训出来的 LoRA,换个角度就崩。

10.2 命名规范:半角下划线 + 英文

这一条看起来像小事,但踩过坑的人都知道有多坑。文件名必须是半角下划线连接英文,不能有中文、空格、全角字符、括号、加号。

正确:yuki_face_01.png、yuki_side_02.png、yuki_full_03.png

错误:雪见 正脸.png、雪见(1).png、yuki face 01.png、雪见_正面_01.png

为什么?训练脚本读取文件名时会做字符串处理,中文和全角字符在不同编码下会出现乱码,导致 caption 文件丢失或者读取失败。很多人训到一半报错,查了半天发现是文件名的问题。

10.3 关键参数表

下面这张表是核心。参数值针对角色类和风格类分别给出,因为两者的最佳配置不一样。

参数 角色类 LoRA 风格类 LoRA 说明
素材数量 20-40 张 30-50 张 风格类比角色类需要更多样本
素材尺寸 768×768 或 1024×1024 同左 必须统一为正方形
学习率 约 4e-4 约 3e-4 风格类降低,避免过拟合
调度器 cosine with warmup cosine with warmup 预热后余弦衰减,收敛更稳
Repeat 5-8 5-8 每张图重复次数
Epoch 5 和 8 各训一版 5 和 8 各训一版 对比挑优,不完全依赖单次结果
混合精度 关闭 关闭 云端开启易出 NaN Loss
推荐出图权重 0.6-0.7 0.45-0.6 风格类普遍比角色类低

10.4 为什么必须关掉混合精度

混合精度训练(FP16)在本地显卡上通常没问题,但在云端训练环境里容易出现 NaN Loss——损失值变成”非数字”,训练直接崩掉或者输出一个全灰的模型。

原因跟云端的硬件和精度损失累积有关,具体机制不必深究,记住操作就行:在云端训 LoRA,把混合精度关掉,用完整精度跑。代价是训练速度慢 30%-50%,但换来的是不崩。这个买卖很划算。

10.5 Epoch 5 和 8 各训一版的原因

很多人训一遍就完了,出图不满意就改参数重训。更高效的做法是一次训两版:Epoch 5 和 Epoch 8。

Epoch 5 的版本通常”欠拟合”一点,角色特征学到了一部分,但还保留了底模的灵活性,适合出多样化的图。Epoch 8 的版本”过拟合”一点,角色特征很死,但换个角度就容易崩,适合出标准的角色卡。

两版拿到手,实际出图对比,往往能发现 Epoch 6-7 左右才是最理想的中间态,这时候再单独训一次那个 epoch 数,就是你的最优解。

10.6 一个可复用的训练配置模板

把上面的关键参数整理成一份可以直接对照修改的配置清单。不同训练工具的参数名不一样,但语义是一致的。

# ===== 角色 LoRA 训练配置(最简版)=====
base_model:      SDXL 1024 基础底模(与出图底模保持同系)
train_data_dir:  ./dataset/yuki/          # 20-40 张,768 或 1024 正方形
resolution:      1024
learning_rate:   4e-4                      # 风格类改 3e-4
lr_scheduler:    cosine_with_warmup
warmup_ratio:    0.05
repeat:          6                         # 5-8 之间
epoch:           5                         # 另外再跑一版 epoch 8
mixed_precision: no                        # 云端必须关闭
batch_size:      1-2
save_every_n:    1
network_dim:     32                        # 角色类 32,风格类可 64
network_alpha:   16
caption_ext:     .txt                      # 与图片同名
# ===== 训练后自测 =====
# 权重 0.6 出 4 张正脸,0.7 出 2 张侧脸,看是否崩
# 若 0.5 还没反应 → 素材太杂或学习率偏低
# 若 0.6 就过拟合 → epoch 降到 3-4,或素材扩充 10 张

十一、一套完整的组合配置模板

最后给一份完整可抄的组合配置。这个模板把前面所有内容串起来,可以直接改成你的。

11.1 场景一:写实角色立绘

# ===== 组合 A:写实人像(商业委托)=====
checkpoint:   F.1 写实分支
resolution:   1024 x 1344
lora:
  - char_xxx: 0.65          # 角色
  - style_softlight: 0.4    # 柔光风格(可选)
controlnet:
  - openpose: 0.7           # 姿态约束
  - depth: 0.5              # 空间层次(可选)
sampler:      DPM++ 2M Karras
steps:        28
cfg:          5.5
negative:     lowres, bad anatomy, extra fingers, watermark, text

# 验证要点:
# - 0.65 权重下,脸像且皮肤还有真实毛孔
# - 若皮肤变成塑料感 → 角色 LoRA 降到 0.6
# - 若姿势跟参考图差太远 → ControlNet 提到 0.8

11.2 场景二:二次元角色卡

# ===== 组合 B:动漫角色卡 =====
checkpoint:   SDXL Anime 系 或 厚涂版 Seedream 4.5
resolution:   1024 x 1024(立绘)/ 1024 x 1536(竖版)
lora:
  - char_xxx: 0.7           # 角色
  - style_cel: 0.45         # 赛璐璐上色
controlnet:   无(角色卡通常不需要)
sampler:      Euler a
steps:        30
cfg:          7
negative:     photorealistic, 3d, realistic skin, blurry, watermark

# 注意:负面词要压住"写实",否则容易滑向半写实

11.3 场景三:材质特写(PVC / 金属)

# ===== 组合 C:手办 / 机甲材质 =====
checkpoint:   Foundation1.0 或同系材质优化底模
resolution:   1024 x 1024
lora:
  - material_pvc: 0.5       # 材质强化
  - char_mecha: 0.6         # 具体模型/角色
controlnet:
  - canny: 0.6              # 轮廓锁定(产品图常用)
sampler:      DPM++ SDE Karras
steps:        35
cfg:          6
negative:     flat lighting, matte, cloth, human skin, text

# 验证要点:
# - 金属高光要有明确形状,不能一整块死白
# - PVC 边缘要泛光,不能整体发蜡

11.4 场景四:国风插画

# ===== 组合 D:国风水墨插画 =====
checkpoint:   SDXL 插画专用分支(水墨向)或 Foundation1.0
resolution:   1024 x 1536(竖幅)
lora:
  - style_inkwash: 0.55     # 水墨画风
  - char_guofeng: 0.55      # 国风人物
controlnet:
  - lineart: 0.55           # 线稿约束,保持笔意
sampler:      DPM++ 2M Karras
steps:        30
cfg:          6.5
negative:     photo, 3d render, plastic, oversaturated, western style

# 提示词建议用中文直接写,底模若是国产优化款,
# "留白""飞白""墨分五色"这类词能被正确理解

十二、常见误区与经验总结

12.1 模型选型的五个高频误区

12.1.1 误区一:先找 LoRA 再定底模

顺序反了。底模是地基,LoRA 是装饰。先定底模,再找能挂在它上面的 LoRA。如果某个 LoRA 你特别喜欢但它适配的底模不适合你的目标,放弃它,或者自己训一个同角色的。

12.1.2 误区二:用权重解决兼容问题

不兼容的 LoRA 和底模,调权重是没用的。0.3 没效果,0.9 就崩,中间没有可用的档位。遇到这种情况直接换组合。

12.1.3 误区三:分辨率拉高就有细节

分辨率超出底模训练范围,得到的是失真不是细节。想要更大尺寸,正确做法是在合适分辨率下生成,再做高清放大或者扩图。

12.1.4 误区四:以为提示词能弥补模型选型的失误

很多人把希望寄托在提示词上:底模不对,就加词补救;LoRA 不像,就加词强调。这条路走不通。在组合正确的前提下,提示词 30-60 个词足够。100 个词以上的提示词,后面的词权重被稀释得几乎无效,还会互相干扰。

12.1.5 误区五:一次挂五个 LoRA 就是”精确控制”

三个以上就开始打架。真正的精确控制来自选对底模和选对 LoRA,不是靠数量堆。

12.2 三条经验

第一,建立自己的组合库。每验证通过一个组合,就记录下来:底模名、LoRA 名、权重、分辨率、ControlNet 配置、样图 3 张。积累到 10 个组合,你的出图速度会有质的提升。

第二,一图一组合,别在一张图上反复换模型。一张图从开始到结束,底模和 LoRA 不变,只调提示词和种子。想换风格就新开一张图。

第三,先看作品关联页,再看模型介绍。作者写的介绍是营销文案,作品关联页里的普通用户作品才是真相。

十三、FAQ:模型选型中的六个高频问题

LiblibAI 上同一类底模有很多个,怎么快速挑出一个?

按”三个标签 + 一个验证”来。先看标签里有没有明确的 Photorealistic / Anime / 插画 / 材质定位,标签含糊的直接跳过;再看详情页底部”兼容 LoRA”和”支持 ControlNet”是否都打钩;最后看作品关联页里普通用户的作品数量和质量。三关都过,用两步验证:纯底模出 4 张看质感,挂一个常用 LoRA 出 2 张看兼容。通过就可以进常用库。

LoRA 权重到底给多少最稳?有没有一个万能值?

没有万能值,但有一个万能起点:0.65。这个值在绝大多数角色 LoRA 上都能用,特征清晰、底模质感保留完整。从 0.65 开始,往 0.6 或 0.7 微调,找到最舒服的点。千万不要一上来就给 0.85 或 1.0,那个区间不是”效果更强”,是”底模被覆盖”。

为什么我在写实底模上跑二次元提示词,五官总是怪怪的?

因为写实底模的权重里对”人脸”有真人的先验结构,它会自动补上真人的眼睑皱褶、鼻翼软骨、唇纹。这些在动漫脸上是破坏性的细节。这不是提示词的问题,底模层面的东西提示词改不动。解决办法只有一个:换动漫底模或者厚涂底模。

通义万相能不能像 LiblibAI 那样挂 LoRA、调权重?

不能。通义万相的定位是开箱即用,模型和参数都封装好了,你主要通过提示词和基础参数来控制。想要 LoRA 级别的精细控制,得走 LiblibAI 或者自己部署开源模型。不过通义万相可以通过阿里云百炼平台 API 调用,做程序化批量很方便,这是它的强项。

自己训 LoRA 总是训崩,最常见的三个原因是什么?

按出现频率排:一,文件名里有中文或全角字符,导致 caption 读取失败;二,云端开了混合精度,中途出 NaN Loss;三,素材里混了不同角色或不同风格的图,训出”平均脸”。这三条都是操作层面的,改起来很快。参数层面最常错的是学习率给太高(超过 1e-3)和 epoch 给太多(超过 12)。

组合验证要做到什么程度才算”通过”?

五个信号同时满足:纯底模出图质感对、LoRA 低权重能识别角色、存在一个权重同时满足”像”和”质感未崩”、ControlNet 姿势能被约束住、极端角度下有明确的边界记录。五条都过了,再放量。缺任何一条就放量,废图率会从 10% 涨到 50% 以上——这个差距在 50 张的批量任务里就是 4 小时的返工。

THE END
喜欢就支持一下吧
点赞24 分享
评论 抢沙发
头像-知了AI
欢迎您留下宝贵的见解!
提交
头像-知了AI

昵称

取消
昵称表情代码快捷回复

    暂无评论内容