谷歌决策模型上线：一次推理判千题不吐一个字

过去两年，大模型做事的默认姿势是”写”：写摘要、写代码、写邮件，仿佛只要让模型多吐几个字，问题就能被解决。但真实的生产系统里，绝大多数判断根本不需要文字。这条工单该派给哪个组、这段用户输入有没有违规、这张理赔照片够不够清楚、这次请求该走便宜模型还是昂贵模型，答案往往只是一个选项、一个概率、一个分数。

谷歌在 2026 年 11 月 11 日发布的 gemini-decision-1 与 Gemini Decisions API，正是冲着这类”不需要写”的任务来的。它把决策从生成里拆出来，做成一个专用的决策模型：不做逐 Token 自回归解码，只在一次前向计算里给候选答案打分，然后把概率与置信度交回业务代码。

一、这个决策模型到底特殊在哪

不写答案，只给选项打分

传统生成式模型的输出是一条文本序列。哪怕你只想知道”是”还是”否”，它也要把整句话一个字一个字解码出来，再从这句话里反推结论。这个决策模型跳过了这一步：输入一份共享材料，加上预先定义的候选选项，模型直接输出每个选项的概率。没有中间的自然语言，也没有需要人工阅读的推理过程。对调用方来说，这带来的不是文字更短，而是输出形态变了，从一段供人阅读的话，变成一个可以直接写进条件判断的数值。这个决策模型的定位，更接近一个带语义理解能力的分类器，而不是一个会聊天的助手。

一次请求塞进一千道题

接口允许一份输入搭配最多 1000 个互相独立的问题。这里的”独立”是关键：问题之间不共享推理链，模型并行评估它们，所以加一个问题不会改变其他问题的答案，也不会让延迟线性上涨。谷歌给出的曲线是，在 1 到 100 个问题的区间里，延迟几乎是一条水平线。实际使用中，这意味着可以把一整套风控规则、一整套评分细则一次性丢进去，而不是为每条规则各发一次请求。对习惯用循环批量调用分类接口的团队，这个决策模型省下的不只是钱，还有一整层编排代码。

多模态是原生能力，不是拼接

它基于 Gemini 的多模态架构，文本、图像、音频、视频、PDF 可以在同一次请求里混着放。官方举的例子，是把通话录音和账户元数据放在一起判断，或者把扫描版理赔单和现场受损照片配对核验。开发者还能调低图像与视频的分辨率，用画面细节换 Token 开销。这一点对决策模型很实用：很多判断本来就跨模态，比如”这张照片和这段描述是否一致”，用纯文本模型根本无从下手。

分类任务里，一个 0.7 的概率如果实际只有五成是对的，阈值就没法用。谷歌强调这个决策模型在多项基准上的校准误差最低，意思是它报出的 0.9 大体真的对应九成把握。对工程来说，这比榜单上的准确率更有价值：你可以在 0.85 处切一刀，把不确定的请求自动分流，而不必为每条规则单独拟合阈值。校准做得好，决策模型输出的数字才能当成业务参数用，而不是只能当成排序参考。

二、三类判断题，和真正上手的方式

是非、多选、分级评分

接口把判断分成三种。是非题在 API 里叫 noul，用来估计某个条件成立的概率，还可以分别描述成立与不成立的标准；多选题在 2 到 255 个候选项里选一个，返回胜出项和所有选项的归一化概率；分级评分按从 0 开始的有序量表打分，返回连续加权分数与各等级概率。三种可以混在同一次请求里，这是决策模型最灵活的一处设计。每个答案都带一个 0 到 1 的置信度，业务代码可以据此决定是直接执行、转备用模型，还是交人工复核。这正是决策模型与普通分类器最大的区别：它不只给结论，还给”有多确定”。

十几行代码就能跑通

入口在 Google AI Studio，模型 ID 是 gemini-decision-1，走 v1beta 的 Gemini API，官方 SDK 提供 Python 与 JavaScript 支持，也可以直接请求 REST 的 decisions 端点。调用时把输入块和问题字典一起传进去，拿回的是结构化概率。对已有 Gemini 项目的团队，接入成本基本就是换一个方法名。免费额度足够做原型：每分钟 200 次请求、每天 1 万次。付费档每百万输入 Token 收 0.10 美元，输出不计费。

请求体里最容易被低估的是问题字典的结构。每个问题有自己的类型、指令，选项型还要列出候选与判定标准。这意味着过去散落在提示词里的规则，现在被拆成一条条可复用的判断项。同一份输入配不同的问题集合，就能服务完全不同的业务方，而输入本身只付一次费。这种”一份材料、多组视角”的用法，是决策模型在工程上最讨巧的地方。

几个需要提前知道的限制

现阶段它只解决”独立判断”，不支持上下文缓存、批量接口，也不能传入对话历史或工具调用块，问题指令只支持文本。换句话说，如果第二问必须建立在对第一问解释的理解之上，那就不该把它塞进同一个决策模型请求里。它也不是万能的语义兜底，后面会讲到，选项设计不好，它会硬选。

三、延迟与成本：和传统方案摆在一起看

便宜近八成，钱省在哪

传统做法是用生成式模型加结构化输出：把分类规则写进提示词，让模型输出 JSON，再解析。这条路贵在两处。一是输出 Token，模型要把整个 JSON 逐字生成，还要额外付思考 Token；二是重复，如果一次要判 20 条规则，很多团队会发 20 次请求，共享的那份长文档被反复计费。这个决策模型的计费方式直接掐掉这两块：输出 Token 为零，共享输入每次请求只算一次，加问题只增加该问题自己的指令 Token。官方对比是，同样跑一套基准，它比用 Interactions API 调 Gemini 3.5 Flash-Lite 便宜接近 80%，约为后者的五分之一。这个决策模型的定价，本质上是把”生成”这件事的成本从账单里删掉了。

延迟几乎不随问题数增长

中位模型计算延迟 50 到 100 毫秒，端到端 150 到 250 毫秒，前提是上下文在 16K Token 以内。有开发者实测：1 个问题和 10 个问题都是 0.24 秒，100 个问题 0.41 秒；Token 消耗从 135 涨到 5473，但时间只涨了约七成。对比之下，用生成式模型逐条判断，光是把 100 条规则排成队跑完，就可能是几十秒。对语音助手、实时风控这类有硬延迟预算的场景，150 毫秒意味着决策层可以藏在一次网络往返里，用户根本感知不到。

换成一个工单场景算笔账

假设每天有 20 万条客服工单，每条要判 8 件事：语种、情绪、是否退款、是否投诉、涉及哪个产品线、紧急程度、是否需要人工、是否含敏感信息。用生成式模型加结构化输出，一次调用输出约 300 个 Token，还要重复喂入共享的工单正文，粗算每条三分钱，一天就是六千元。换成决策模型，一次请求带 8 个问题，共享正文只计一次，输出不收费，同样体量大约只要一千出头，而且延迟从一两秒压到两百毫秒左右。规模越大，这个差距越不是优化，而是能不能做的分界线。很多团队过去放弃细粒度风控，不是不知道应该做，而是每条都过一次大模型实在付不起。

四、为什么”决策”和”生成”必须分开

生成式模型做分类，浪费在三处

第一是算力浪费。分类只需要一次前向的概率分布，生成却要做几十上百步解码，每一步都要跑一遍完整的注意力。第二是稳定性浪费。同一段输入，生成式模型每次措辞可能不同，JSON 偶尔缺字段，解析失败要重试，重试又带来新的延迟与费用。第三是评估浪费。你想知道模型有多确信，只能靠对数概率或者让它自报置信度，而后者并不可靠。专用决策模型把这三件事一次性解决：单次前向、固定输出结构、原生校准概率。

更隐蔽的是口径问题。生成式的分类结果往往没有统一的概率语义，同一个 0.8，在不同提示词下可能代表完全不同的把握程度，团队之间无法比较，也无法统一设阈值。决策模型输出的是同一套校准过的概率，跨规则、跨业务线可以放在同一张表上看。这一点在风控这种要写报告、要向合规解释的场景里，价值不亚于省钱。

智能体里最贵的，是那些不起眼的小判断

一个成熟的智能体循环，每一步都在做小决策：这个意图属于哪类、该调哪个工具、检索到的材料够不够、回答有没有触碰政策、要不要升级到更强的模型。这些判断单个都很简单，但数量惊人，而且都卡在关键路径上。用生成式模型做，等于每次都用大炮打蚊子，既慢又贵，还引入不确定性。把决策模型放在这一层，智能体的主干仍然用大模型做推理与写作，而路由、安检、打分交给专用模型，整条链路的延迟和成本曲线会明显变平。这也是谷歌自己在做的事：Gemini Notebook 用它做查询路由，官方称日常查询延迟最多降了 40%；搜索团队把它用在模型上下文协议工具的安全防护层上，识别对抗性输入。

提示词驱动的方式有个隐性成本：规则藏在自然语言里，改一条要重新测试整段话，出了错很难定位是模型漂移还是措辞变了。决策模型把判断变成有明确输入输出的函数：选项是参数，概率是返回值，阈值写在代码里，版本可以进仓库。这让”判断”第一次像基础设施一样可被监控、灰度与回滚。团队可以给每次决策模型调用记一条日志，记录输入摘要、选中项与置信度，事后按置信度分布判断某条规则是不是在失效。这种可观测性，恰恰是生成式方案最难补的一课。

对智能体基础设施意味着什么

过去一年，模型路由从”写死的 if 分支”演进成独立的工程层，RouteLLM 一类方案靠轻量分类器预测请求难度，在保住九成以上质量的同时砍掉大半成本。专用决策模型把这一层进一步标准化：不用自己训分类器，不用维护提示词模板，不用处理 JSON 解析失败，直接拿到可校准的概率。当决策变成一个廉价、稳定、低延迟的原语，智能体的架构就会自然分层，贵的模型只负责真正需要思考的部分。这个决策模型真正的意义，不在某一次问答，而在于它给”判断”这件事定了一个新的价格锚点。

五、能用在哪，以及会踩什么坑

路由、风控、评分细则

最直接的是三类场景。模型路由：判断请求复杂度，决定走轻量还是旗舰模型，省下的是整条产品线的推理预算。内容风控：一次请求里跑完几十条政策规则，每条都是一个是非题，附带置信度，低置信度的自动转人工。评分与排序：按细则给候选结果打分，比如客服质检、简历初筛、生成结果的多维评估。多模态让它的边界更宽，保险理赔的照片核验、直播画面的实时合规、会议录音的议题归类，都可以用同一个决策模型完成。

还有一类被低估的用法是上下文评估。检索增强的系统里，经常要先判断”捞回来的材料够不够回答问题”，不够就别硬答，直接说不知道或者换检索策略。这本质上是一道评分题，交给决策模型一次判完，比让主模型自己反思要快得多，也诚实得多。对做检索的人来说，这一步的成本曾经高到只能抽样，现在可以每条都过。

选项里必须留一个”其他”

这是目前最值得记住的坑。有开发者做了对照实验：给模型三类明显不属于客服请求的输入，分别是他国首都、随机字符、写诗的要求。当候选里没有”其他”时，模型把它们全部强行归入”技术支持”，置信度还有 0.64 到 0.84；一旦加上”其他”，三项全部正确落入，置信度 0.69 到 0.99。同一个请求里的是非题却给出了 0.01 到 0.07 的低概率，说明模型其实”知道”不对，只是多选题被迫选一个。结论很简单：封闭集合的判断，兜底选项不是可选项，而是设计的一部分。用这个决策模型时，把”未知””其他””转人工”写进候选，比反复调阈值更有效。

自训练分类器精度可以很高，单次成本也低，但要标注数据、要维护模型、要处理新类别，而且通常只吃文本。决策模型的优势是不用训练：拿现成的语义理解能力，写清楚选项就能跑，还能同时看图和听录音。代价是它对领域的掌握不如专门微调的模型，遇到高度专业的判据，仍然需要把领域知识写进问题描述里。一个务实的组合是，先用决策模型快速上线，把它的输出当弱标注积累数据，等某条规则的量足够大、要求足够稳，再考虑蒸馏成小分类器。

它不替你定义标准

另一点常被忽略：模型只负责在给定选项间分配概率，标准是你写的。评分细则含糊，它给的分就含糊；规则之间互相重叠，它的概率就会分散。所以上线前真正的工作量，在于把业务规则翻译成互斥、可判定的问题，而不是调接口。有分析师提醒，决策接口的风险在于输入漂移与对抗性操纵，置信度本身不能证明判断可信，最好把决策模型接到历史交易与既定政策的数据层上，让它对着组织知识做判断，而不是只看眼前这段输入。

六、常见问题

决策模型和普通大模型加提示词有什么区别？

输出形态不同。普通大模型先生成文字再解析，决策模型直接给选项概率，没有解码步骤。因此它更快、更便宜、结构更稳定，但也更窄，只能在你给定的选项里选，不能自由作答。

一次能问多少个问题，会变慢吗？

单次最多 1000 个独立问题，共享输入上限 256K Token。官方数据显示 1 到 100 个问题延迟基本持平，实测 100 个问题时约 0.41 秒。问题越多，Token 消耗越高，但时间增长远小于线性。

支持哪些输入类型？

文本、图像、音频、视频、PDF 都支持，且可以在同一份输入里混合。图像和视频的分辨率可调，用来在视觉细节与 Token 成本之间取舍。

价格到底怎么算？

每百万输入 Token 0.10 美元，输出 Token 不计费，也不额外收思考 Token、音频转写或 OCR 费用。同一份共享输入每次请求只计费一次，多加问题只增加该问题的指令与标准 Token。

免费额度够用吗？

原型阶段够用：每分钟 200 次请求、每天 1 万次。正式流量需要付费档，Tier 1 可到每分钟 1500 次请求、每分钟 100 万 Token。

它会不会把不相关的内容硬塞进某个类别？

会，如果你没给兜底选项。测试显示，候选里缺少”其他”时，超范围输入会被强行归类，而且置信度并不低。把”其他””未知””转人工”写进候选，是目前最有效的缓解办法。

和 OpenAI 的同类接口比怎么样？

思路接近，都按输入 Token 计费、输出免费。差异在容量与模态：这边的决策模型单次可判 1000 个问题，支持音频与视频，对手的上限是 400 个问题。选型时更该看的，是它和你现有开发环境、数据合规要求的契合度。

适合替代传统规则引擎吗？

不完全替代。确定性规则该由规则引擎跑，毫秒级、零成本、可审计；决策模型适合规则写不出来、需要语义理解的那部分，比如”这段话是否在变相承诺收益”。两者叠着用，通常比二选一更划算。

能不能在自有云环境里调用？

目前只开放 Gemini Developer API，谷歌表示后续会进入云平台上的 Gemini 支持范围，但没有给出时间表。对数据驻留有硬要求的团队，接入前要先确认合规路径，这也是决策模型落地时最现实的约束之一。