Inkling承认偷师Kimi的代价

11月6日，Mira Murati创办的Thinking Machines发布Inkling 2 Small：总参数5940亿，MoE架构，单次激活170亿，原生100万token上下文，支持图像输入，在SWE-Bench Pro v2 Hard上拿到86.3分。

真正引爆讨论的不是分数，而是技术博客里的一句话：预训练的后半程，团队大量采样了Kimi K3的模型轨迹。硅谷前沿实验室公开承认用中国开源模型的数据训练自己的模型，这在两年前不可想象。

一、594B与17B：这个配比在说什么

先看架构。总参数5940亿，单次只激活170亿，激活比例不到百分之三。这是一个极端稀疏的设计，目的很明确：用巨大的知识容量换取推理时的低成本。

稀疏到什么程度

指标	Inkling 2 Small	同类参照
总参数	5940亿	中型MoE
单次激活	170亿	接近小模型推理成本
激活比例	约2.9%	行业常见区间5%–15%
上下文	100万token	长文档与智能体任务友好
许可	承诺Apache 2.0	可商用、可修改

激活比例低到3%以下，意味着路由网络必须非常精准——每次都要从几百个专家里挑出最合适的少数几个。这考验的不是参数量，而是训练数据的质量与路由策略。换句话说，这种架构把竞争焦点从”堆参数”转移到了”选数据”。

为什么敢这么稀疏

因为训练数据足够”干净”。稀疏MoE最怕的是专家利用率不均——少数专家被反复激活、多数闲置。解决这个问题靠两件事：数据分布足够多样，以及路由损失设计得足够合理。团队在博客里提到用了可变的推理投入，让模型自己决定要想多久，这也是为了平衡不同难度的任务。

对使用者来说，这种设计的直接好处是”便宜”。一个5940亿参数的模型，推理成本接近170亿的稠密模型，单位任务成本能压到同能力闭源模型的几分之一。这才是它能被中小企业用起来的原因。

二、86.3分是怎么来的

SWE-Bench Pro v2 Hard是一个软件工程任务的评测集，要求模型在真实代码库里定位问题、写出补丁、通过测试。86.3分是当前公开成绩里的第一梯队。

这个分数意味着什么

它说明模型在”读代码、改代码、验证结果”这条链路上已经相当可靠。对开发者来说，这类能力的实用价值远高于聊天能力——因为编程任务是可验证的，改对了测试会过，改错了立刻暴露。

但分数也有边界。评测集里的任务通常有明确的失败信号（测试不通过），真实工程里的问题往往没有标准答案。所以高分的意义是”下限可靠”，不是”上限无限”。

分数与数据的因果关系

这里就绕不开那个争议：如果预训练后半程大量使用了另一个模型的输出轨迹，那么分数在多大程度上反映”自主能力”，在多大程度上反映”模仿能力”？

客观地说，用高质量轨迹做训练是行业通行做法，效果也确实好。但它会带来一个隐患：模型在训练分布内表现优秀，在分布外容易退化。这也是为什么很多蒸馏出来的模型在特定榜单上很强，换个任务就原形毕露。

三、技术博客里那句话

把博客原文的意思翻译成白话：在后训练阶段，团队用大量来自Kimi K3的推理轨迹做采样，用来提升模型的代码与智能体能力。

为什么要公开承认

因为隐瞒的成本更高。当前的开源许可里，多数允许”用输出训练模型”，但要求遵守相应条款；一旦被社区发现使用了却未披露，声誉损失远大于坦白。主动写进技术报告，是一种风险前置的处理方式。

更深一层的原因是，这件事在行业里已经不是秘密。多个开源模型的输出早已公开在互联网上，任何团队都在用。与其遮掩，不如把它变成技术叙事的一部分——”我们知道什么数据有效”本身就是能力。

承认之后暴露的问题

第一个问题是可复现性。如果能力的来源是别人的轨迹，那么换一批数据，效果还能不能保持？第二个问题是代际差。当被学习的模型继续迭代，跟随者需要不断重新采样，形成一种结构性的追赶关系。第三个问题是许可边界。不同模型对”输出用于训练”的态度不同，跨法域使用时风险更高。

争议点	支持方观点	质疑方观点
用输出训练	行业通行，公开数据本就可获取	接近搭便车，削弱原创激励
披露义务	主动披露已是进步	披露不等于获得授权
能力真实性	分数可验证，工程可用	分布外泛化存疑
生态影响	加速能力扩散，利好用户	头部模型被”白嫖”，投入意愿下降

四、为什么硅谷开始用中国模型的轨迹

这个问题比争议本身更有意思。答案不复杂：因为在特定任务上，中国开源模型的表现确实好，而且输出是公开可得的。

数据可得性的不对称

闭源模型的输出受服务条款限制，大规模采集有法律风险；开源模型的权重和输出都在公开渠道，采样成本低、合规风险小。这种不对称，天然让开源模型成为”数据源”。

再加上中文与代码任务的语料差异，某些模型在特定领域确实积累了独特优势。当训练一个通用模型需要覆盖多语言、多任务时，从多个来源采样是理性选择。

这暴露了开源商业模式的裂缝

开源的本意是共享，但当共享的成果被用来训练竞争模型，原创方的投入如何回收？目前行业里没有成熟答案。有人提出”输出许可”的概念，有人主张”训练数据披露”，但都缺乏可执行的机制。

短期内，这件事不会改变开源的基本格局，但会让头部厂商在发布权重时更谨慎——比如延迟发布、限制商用规模、或者对输出加水印。这些动作会增加摩擦，最终由使用者承担成本。

五、400亿估值的支撑点

同一时间，这家公司被曝以400亿美元投前估值融资50亿美元，由一家老牌风投领投。一个成立不久、产品尚未大规模商业化的团队，凭什么拿到这个数字？

团队溢价

核心团队来自头部实验室，做过大规模模型训练与产品化，这是最直接的溢价来源。在AI行业，能带队把模型从零训到前沿的人才，全球不超过几百人，稀缺性决定了定价。

路线溢价

它选择的路线是”小激活、大容量、强智能体”，与主流大厂的重投入路线不同。如果这条路走通，意味着用更少的算力做出接近的能力，商业想象空间很大。资本买的不是现在的模型，而是这条路的可能性。

数据溢价

它掌握的训练配方与数据管线，本身就是资产。在模型能力逐渐趋同的阶段，谁知道”什么数据能训出什么能力”，谁就掌握了效率优势。这种能力很难复制，也很难定价。

六、对开源生态的影响

这件事会在三个层面留下痕迹。

第一层：许可证会变严

可以预见，头部开源模型会在许可里加入更明确的条款，限制”用输出训练竞争模型”，或要求披露。这会增加合规成本，但也会让生态更健康——至少规则清楚了。

第二层：评测会更看重泛化

当”刷榜”变得容易，评测机构会把权重转向分布外任务、真实工作流、长周期执行。这对真正有工程能力的团队是好事。

第三层：数据成为核心竞争力

未来的竞争不再是”谁的参数多”，而是”谁的数据管线更好”。这包括数据来源的多样性、清洗质量、合成数据的配方。Inkling这次的坦白，某种程度上是在宣示：我们知道怎么用别人的数据训出自己的模型，这本身就是本事。

我的判断是：蒸馏不会消失，但会从”灰色地带”走向”显性交易”。未来可能出现模型输出的授权市场——用谁的轨迹训练，就付谁的钱。这个市场一旦形成，开源生态的商业闭环才算真正跑通。

七、把小模型做强的三条路

Inkling的选择代表了一类思路：不追求最大，追求最划算。这类思路通常沿着三条路走。

第一条：稀疏化

用大量专家分摊知识，每次只激活少数。这条路的好处是容量与成本解耦，坏处是工程复杂——路由、负载均衡、通信开销，每一项都需要大量调优。中小团队通常没有这个工程能力，所以稀疏MoE长期是大厂的游戏。

第二条：数据提纯

与其堆万亿token的原始语料，不如精挑细选几千万条高质量样本。Inkling在后训练阶段对轨迹的采样，正是这条路的体现。数据提纯的收益很高，但风险也集中：一旦选偏，模型会在某些能力上过拟合，其他能力明显塌陷。

第三条：任务专精

承认自己不是全能，只在代码、智能体等少数任务上做到最好。这条路最适合创业公司，因为资源有限，专注才能形成差异化。Inkling在代码任务上的分数，正是这条路的成果。

三条路并不互斥。Inkling实际上三条都用了：稀疏架构控制成本、提纯数据提升质量、专精代码建立优势。这种组合策略，比单点突破更可持续。

八、被忽略的工程细节

技术博客里有一些不显眼但很关键的描述，值得单独拎出来。

可变推理投入

模型可以根据任务难度调整”思考长度”：简单任务快速给出答案，复杂任务延长推理链。这个机制的价值在成本控制——不是所有请求都值得花同样的算力。对使用者来说，这意味着同一个模型能同时服务”快问快答”和”深度分析”两类需求。

视觉输入的处理

支持图像输入不是新鲜事，难的是把图像信息与长上下文结合。当一个任务同时包含几十页文档和若干张图表时，模型需要把视觉元素对齐到文本论证里。这类能力在真实办公场景里非常实用，也是Inkling区别于纯文本模型的地方。

Apache 2.0的分量

承诺用这个许可发布权重，意味着允许商用、允许修改、允许再分发，限制极少。对开发者来说，这是最友好的选择；对厂商来说，这是用开放换生态。Inkling选择这条路，说明它更看重开发者规模，而不是短期授权收入。

把这三点连起来看，Inkling的定位就清楚了：它不是要做一个”最强的模型”，而是要做一个”最容易被集成进产品”的模型。这个定位在当前的竞争格局里，其实比追求榜单第一更务实。

九、对国内团队的三点启示

第一，别迷信参数。稀疏架构已经证明，激活参数才是成本的关键。把资源投在数据质量和路由设计上，回报比堆参数高得多。

第二，承认差距但不必自卑。Inkling公开采样Kimi轨迹这件事，本身就是对国内模型能力的背书。差距在工程化与生态，不在单点能力。

第三，重视许可与合规。当输出被当作训练数据成为常态，谁能把许可条款设计得既开放又可执行，谁就能在生态里占据有利位置。这是一场规则设计的竞争，不比模型竞赛轻松。

十、争议之外更值得关注的信号

舆论把焦点放在”偷师”两个字上，反而忽略了三个更有价值的信号。

第一，模型能力正在从”独有”变成”流通”。过去一家实验室的领先能维持一年以上，现在六个月就会被追上，因为知识与方法在开源社区里以周为单位扩散。这意味着竞争的护城河从”模型本身”转向”产品体验与分发渠道”。

第二，小团队的机会窗口变大了。稀疏架构降低了推理成本，开源权重降低了准入成本，一个十几人的团队可以用几百万美元做出过去需要上亿美元才能达到的效果。这类团队不会在通用能力上赢，但可以在垂直场景里赢。

第三，评测体系正在失去公信力。当训练数据与评测数据高度重叠，分数就不再可靠。未来真正有价值的，是那些用真实业务数据构建的私有评测集，以及能反映长周期执行能力的场景化测试。

这三点合起来，指向一个结论：AI行业的竞争，正在从”谁的模型更强”变成”谁更会用手上的模型”。这个转变对巨头是压力，对使用者和中小团队是机会。

还有一层不太被提及的变化：模型的”身份”正在模糊。当一个模型的能力有很大一部分来自另一个模型的输出，我们很难再用”谁做的”来评价它。未来评价一个模型的标准，可能会变成”在什么任务上、什么成本下、多稳定地完成任务”，而不是”哪个实验室出品”。

这对使用者是好消息——评判标准变得更实用；对厂商是坏消息——品牌溢价被削弱。任何一轮技术扩散，最终都会把竞争拉回到成本与体验这两个最朴素的地方，这次也不例外。

FAQ

用其他模型的输出训练，算抄袭吗？

法律上取决于许可条款与法域，技术上属于行业通行做法。多数开源许可允许使用输出，但可能附带条件（如署名、限制商用规模）。伦理上争议更大，核心问题是原创方的投入如何回收。目前行业缺乏统一规则，这也是各方争论的焦点。

蒸馏出来的模型能力会打折吗？

在训练分布内通常表现很好，甚至超过教师模型的部分指标；在分布外容易退化。判断方法是自己建一套真实任务评测集，而不是只看公开榜单。工程上可用的标准是”在你的场景里稳定”，不是”在榜上靠前”。

5940亿参数的模型，企业用得起吗？

用得起。稀疏激活让单次推理成本接近170亿参数模型，配合量化与批处理，单位任务成本可以压得很低。真正的门槛在部署：完整权重需要多卡环境，中小企业更适合用云上托管版本。

这件事对中国开源模型是好事还是坏事？

短期是认可，长期是压力。被当作训练数据源，说明能力被同行认可；但也意味着输出被无偿使用，商业回报被稀释。应对之道是加强许可管理、提升工程服务能力，把竞争优势从”权重”转向”生态”。

普通开发者该关注什么？

关注两件事：许可证是否允许你的使用方式，以及模型在你真实任务上的表现。至于它用了谁的数据训练，对使用者来说影响有限，对行业格局影响很大。分清这两层，才不会被舆论带偏。