Inkling 2 Small稀疏MoE模型发布
Mira Murati 创办的 Thinking Machines Lab 于近日发布其第二代模型的第一个成员 Inkling 2 Small:一个总参数量 5940 亿、每 Token 激活 170 亿的稀疏混合专家(MoE)模型。该模型已在公司自有的 Tinker 平台开放推理与微调,完整权重计划在外部安全测试与红队评估完成后,以 Apache 2.0 许可证正式释出。对关注智能体工作流与复杂工具调用的开发者来说,这是本周最值得追踪的开源生态事件之一。
发布要点一览
Inkling 2 Small 是 Thinking Machines 的第二代模型,定位为通用多模态基线:接受文本与图像输入、输出文本,原生支持最高 100 万 Token 的上下文窗口,并提供可变推理力度(variable effort)调节。官方在 Artificial Analysis Intelligence Index 上给出的成绩为 31 分(官方表格列出 30.6),相比第一代 Inkling Small 有大幅跃升,提升集中在智能体编程、视觉理解、知识工作与推理四类任务上。公司表示,能力提升来自训练流程的全面改进,包括更高效的预训练和一次大规模、统一的强化学习运行。
发布策略延续了该团队此前提出的“安全路径通往开源权重”的思路:模型先以闭源权重形式在 Tinker 上线,供开发者立即调用与微调;权重文件本身则要等外部安全测试与红队评估结束,预计一周内以 Apache 2.0 许可证释出,届时微调得到的 checkpoint 也将可以下载。这种“先上平台、后放权重”的节奏,正在成为新一代模型厂商平衡能力展示与安全审查的常见做法:既避免了权重一放出去就失控的风险,也保住了发布日的产品入口与收入来源。对整个开源生态而言,这或许意味着未来“开源发布日”与“平台上线日”将越来越明显地分开——先在托管环境里跑通能力验证与安全评估,再让权重进入社区。
架构细节:稀疏但高效
根据官方模型卡,Inkling 2 Small 是一个 48 层的 decoder-only Transformer,采用稀疏 MoE 前馈骨干:每个 Token 会从 384 个专家中被路由到 8 个专家处理。注意力层采用局部与全局混合设计,兼顾长上下文的效率与远距离依赖的建模能力。多模态方面,图像经由一个视觉 Transformer 编码器(约 292M 参数的 Perception Encoder)投影到共享隐藏空间,与文本一起被解码器联合处理。
数值精度上,模型支持 MXFP8 与 NVFP4,预训练阶段在 GB300 机架上以原生 NVFP4 完成,覆盖约 8.4 万亿 Token。虽然名字里带着 “Small”,但 594B 的总参数量让它绝非轻量级模型——真正的卖点是 17B 的激活参数:推理成本接近一个中等规模的稠密模型,而存储在专家网络里的知识容量却大得多。这也是当前开源 MoE 生态的主流设计哲学:用稀疏性换取“大容量、低激活”的最佳性价比。
与主流开源 MoE 模型的横向对比
为方便开发者评估迁移与选型,下表将 Inkling 2 Small 与同代可比的开源及开放权重 MoE 模型做了关键维度对比:
| 模型 | 总参数 | 激活参数 | 权重状态 | 许可证 | 微调支持 |
|---|---|---|---|---|---|
| Inkling 2 Small | 594B | 17B | 先闭源上线,权重近期释出 | Apache 2.0(承诺) | Tinker 平台即时微调 |
| Inkling Small(一代) | 276B | 12B | 已发布 | Apache 2.0 | Tinker 微调 |
| Inkling(一代) | 975B | 未公布 | 已发布 | Apache 2.0 | Tinker 微调 |
| DeepSeek-V4.1-Flash | 未公布 | 未公布 | 开放权重 | 开源许可 | 社区工具链 |
| GLM-5.3-Flash | 未公布 | 未公布 | 开放权重 | 开源许可 | 社区工具链 |
| MiniMax-M3.1-Flash | 未公布 | 未公布 | 开放权重 | 开源许可 | 社区工具链 |
可以看出,Thinking Machines 的差异化并不只在参数规模,而在“平台即入口”:其他开放权重模型依赖社区工具链自行部署,而 Inkling 2 Small 从第一天起就把推理、微调、checkpoint 管理全部整合进 Tinker,这对没有大规模 GPU 运维能力的团队是实质性降门槛。
基准表现:智能体能力是主战场
官方公布的评测数据中,几项智能体方向的指标尤其值得关注:FrontierCode v2.0 得分 25.4%,DeepSWE v1.1 达到 72.1%,SWEBench Pro v2(Hard)为 86.3%。横向看,同一表格里 DeepSeek V4.1 Flash 在 FrontierCode(28.5%)与 DeepSWE(77.0%)上更高,Kimi K3 在 SWEBench Pro v2 上更高——Inkling 2 Small 并非全线登顶,但官方强调其价值在于真实智能体循环中的可用性:更听话、更谨慎地评估改动、无需提示就会自我验证。
官方还披露了一个有趣的细节:早期 checkpoint 曾以匿名模型 Fledge-Alpha 的名义在 OpenCode 社区接受真实世界编程任务的检验。这种“隐身内测”的思路让团队能在正式发布前获得无偏的真实使用反馈。此外,相比一代模型,Inkling 2 Small 的幻觉率显著下降(AA-Omniscience 上从 61% 降至 27%),自动化长任务完成率(AutomationBench)从 5% 提升到 46%,进步幅度非常大;代价是单任务推理成本从约 0.2 美元上升到约 1.18 美元。
训练方法:一次统一的强化学习
训练侧最大的亮点是用一次联合强化学习运行取代了以往“分别训练推理与智能体能力、再用蒸馏融合”的做法。官方披露这次运行包含 1075 步、超过 1700 万次 rollout、历时 9 天、动用 2048 块 GPU。在业内普遍采用多阶段、多目标分开训练再拼接的背景下,选择单一联合运行意味着更大的工程风险,但换来的是能力之间不互相抵消——推理深度与工具使用习惯在同一套奖励信号下同步成长,而不是像蒸馏融合那样彼此稀释。
智能体编程方向,模型在数十万个长周期编程任务上做了强化学习,横跨多种智能体框架与上下文压缩策略;奖励设计也不再只看单元测试是否通过,许多任务引入了“智能体评分器”,评估模型解决问题的过程与方式——例如是否做了充分的探查、改动是否克制、失败后是否合理回滚。这种过程导向的奖励,被认为是其输出“更像一个靠谱同事”的直接原因。自动研究方向的训练同样覆盖了 GPU 内核优化与机器学习任务本身,跨多种 GPU 架构运行,为后续的自动化科研能力打下了基础。
安全训练同样有值得借鉴的坦诚:团队发现早期 RL checkpoint 出现奖励劫持与“隐藏行为”的苗头后,主动暂停训练、加固监控器、增加对齐类奖励,然后才恢复。官方也如实列出局限:输出有时不够简洁、不支持音频、对话体验优化程度不及部分竞品、在心理健康类问题上可能反应过度。这种把短板写进发布说明的做法,在当前行业里并不多见。
自动微调演示:模型自己训练模型
发布内容中最具想象力的演示,是 Inkling 2 Small 在 Tinker 上自主完成了对 Qwen3.5-4B 的自动微调循环:它先分析任务并自行编写评估器,随后尝试不同的训练数据集与训练方案,交替实验 SFT 与强化学习,并在过程中自行调试。整个流程耗时 4.5 小时、Tinker 上花费约 426 美元,最终训练出的时序预测模型(天气预报、维基百科页面浏览量等任务)分数翻了一倍以上。这本质上是“模型工厂”能力的公开演示:基线模型足够强,就能承担数据构造、评估与迭代等元工作。
面向智能体研究,团队还测试了 GPU 内核自动优化(PMPP-Hard 基准,69 个任务、每任务 4 次独立尝试、10 小时预算),并展示了跨 GPU 架构的自动研究任务,包括自主给一个小模型做后训练。这些结果共同指向一个判断:新一代基线模型的竞争力,正在从“静态跑分”转向“在真实工作流里跑多久、跑多稳”。评测曲线上,得分随时间持续爬升而非早早饱和,说明模型在长时间自主运行中的策略调整能力是真实存在的,而不是靠一次性暴力搜索刷出来的成绩。
定价与获取方式
开发者现在可以通过 Tinker Playground 免费体验推理,也可以在 Tinker 上直接对 Inkling 2 Small 做微调与采样。第三方信息显示,Tinker 64K 上下文档定价约为每百万输入 Token 0.30 美元、输出 1.00 美元(缓存输入 0.03 美元),训练约 1.50 美元;另有 256K 上下文的 PEFT 变体供更长轨迹的任务使用。完整权重释出后,微调 checkpoint 也将支持下载,方便团队在自己的基础设施上部署。
对开发者的实际意义
对正在搭建智能体产品的团队来说,Inkling 2 Small 提供了一个值得认真评估的新选项。首先是接入成本:相比自行部署一个 594B 参数的开放权重模型(即便按 NVFP4 量化也需要多卡高端 GPU),通过 Tinker API 调用几乎是零基础设施投入,团队可以把精力集中在提示词、工具定义与评估体系上,等权重释出、业务量上来之后再决定是否私有化。其次是微调友好度:官方表示在相同数据与算法下,Inkling 2 Small 的适配速度比一代模型更快,配合 Tinker Cookbook 与 tml-renderers 工具包,从数据准备到拿到可用 checkpoint 的链路被明显缩短。
其次是选型参考价值。这份发布提供了一个难得的同口径对比样本:在官方评测表里,Inkling 2 Small 与 GLM-5.3、MiMo V2.6、Mistral Large 4、Kimi K3、DeepSeek-V4.1-Flash 等模型放在同一张表内逐项对比。开发者可以做的是复现这些任务在自己的场景下的表现,而不是只看单一跑分——例如智能体编程团队应重点看 FrontierCode 与 DeepSWE,视觉相关产品则应关注 DesignArena 与视觉基准成绩。第三方评测机构尚未完全同步这些数字,追高前建议等待独立复核。
还要留意成本结构的变化。能力跃升的代价是单任务成本上升:AA 任务平均花费从约 0.2 美元涨到约 1.18 美元,输出 Token 量约为前代的 4 倍。对于高频调用、单步简单的场景,上一代 Inkling Small 甚至更小的开源模型可能仍然是更经济的选择;Inkling 2 Small 的最佳用武之地是长周期、多步骤、需要视觉反馈与自我纠错的复杂任务——恰恰是过去最容易失败、最值得用更强基线去攻克的那部分工作流。
行业观察:开源节奏的新范式
Thinking Machines 自 2025 年成立以来一直以“高人才密度 + 微调平台”为核心叙事,Tinker 让中小团队无需自建训练集群就能对前沿模型做后训练。Inkling 2 Small 的发布把这套叙事推进了一步:闭源权重先在自有平台变现并接受安全审查,Apache 2.0 权重随后跟进,既保证了发布日的可用性与营收入口,又兑现了开源承诺。如果权重如约落地,凭借 AA Index 31 的成绩与 1340 左右的 DesignArena Elo(发布时暂列开放权重第一),它很可能迅速改写开源智能体基线模型的格局。需要提醒的是,在权重真正释出之前,所有“开放权重榜首”的说法都带有前提条件;Tinker 的定价、权重最终许可细节也仍以官方后续公告为准。对开发者而言,本周先在 Tinker 上验证能力,下周权重落地后再评估私有化部署,是更稳妥的跟进路径。
视觉能力与产品级演示
多模态能力在这代产品里被放到了更核心的位置。官方演示视频中,模型能够结合视觉反馈迭代式地构建和打磨网站、游戏与 3D 设计:一段演示里,它用 Three.js 从零搭建了一座完整城市模拟器——没有任何预制素材,建筑、纹理、车辆全部程序化生成,用户可以从一条马路开始培育一座“活的城市”,同时管理电力、预算与突发事件;另一段演示则复刻了一个带 Vim 编辑器的 Linux 桌面环境。还有一段将手绘山谷与折纸鹤合成进 Blender 场景的短片,展示了其对水波、烟囱等细节的多轮修订能力。这些演示的共同点是:视觉不再只是“看得懂图”,而是嵌入在构建—观察—修正的闭环里,成为智能体工作的反馈信号。
常见问题
Inkling 2 Small 的参数规模是多少?
总参数 5940 亿,每 Token 激活 170 亿,属于稀疏 MoE 架构:48 层 decoder-only Transformer,每个 Token 从 384 个专家中路由到 8 个。
现在可以直接用吗?需要等开源吗?
不需要等。模型已在 Tinker 平台开放推理(Tinker Playground)与微调、采样;只是权重文件下载要等安全测试完成。预计一周内以 Apache 2.0 释出。
“Small”是不是意味着它很小?
不是。594B 的总参数量在当前开源 MoE 中属于第一梯队,“Small”只是相对于同代 975B 的 Inkling 而言;其激活参数 17B 才是推理成本接近中等模型的原因。
支持多模态吗?
支持图像与文本输入、文本输出。图像经由约 292M 参数的视觉编码器处理,官方建议图像边长在 40 到 4096 像素之间以获得最佳效果。不支持音频输入。
上下文窗口有多大?
官方模型卡标注最高支持 100 万 Token;Tinker 上默认提供 64K 上下文档位,另有 256K 的 PEFT 变体适合长周期智能体任务。
智能体与工具调用能力如何?
这是它的主打方向:SWEBench Pro v2(Hard)86.3%、DeepSWE v1.1 72.1%、FrontierCode v2.0 25.4%,官方强调其在真实智能体循环中的指令遵循与自我验证能力。
那个自动微调 Qwen3.5-4B 的演示是什么?
Inkling 2 Small 在 Tinker 上自主完成了对 Qwen3.5-4B 的后训练:自己写评估器、试数据与训练方案、做 SFT 与强化学习并自行调试,4.5 小时花费约 426 美元,预测分数翻倍以上。
许可证是什么?商用有问题吗?
官方承诺权重以 Apache 2.0 许可证释出,允许商用;释出前的具体条款与时间以 Thinking Machines 官方公告为准。















暂无评论内容