国内外Token中转站全清单:便宜的代价是什么

一、先把「中转站」这个词拆开

2026 年 9 月,一份行业榜单统计到 730 家以接口转发为主业的中转站。这个数字看着壮观,但把它们放在一张表里排名,等于把便利店、批发市场和期货交易所塞进同一张表——商业模式、成本结构、风险敞口完全不是一回事。

真正要分清的是三层。

1.1 路由层:赚的是「选择权」的钱

这一层自己不做推理,只做请求转发、模型名映射、供应商切换。上游什么价,它原样透传,赚钱靠充值手续费。代表是 OpenRouter、Cloudflare AI Gateway、Portkey、Requesty。这类中转站的价值不在模型多,而在「某家上游挂了,你的业务不用改一行代码」——是保险生意,不是零售生意。

OpenRouter 的账很能说明问题:对上游一分不加,收充值环节 5.5% 的手续费,单笔最低 0.80 美元;自带密钥在每月 2.5 万美元额度内免这笔费用。2026 年 5 月它完成 1.13 亿美元 B 轮,估值 13 亿美元;8 月 Stripe 敲定收购,媒体口径在 70 亿到 80 亿美元之间。每周过手约 25 万亿 token,用户超 800 万,连接 400 多个模型、80 多家供应商。

注意这里的商业逻辑:它的收入与你的 token 消耗量成正比,与单价无关。所以它没有动机给你推贵的模型,反而有动机让你用得更省——用量越大、留存越久,手续费越多。这是三层里唯一「利益和你同向」的结构。

1.2 推理层:赚的是「每张卡产出多少」的钱

这一层自己有 GPU,跑开源权重,按 token 卖算力。代表是 DeepInfra、Together AI、Fireworks、Groq、Novita、Baseten、Cerebras,国内对应硅基流动这类中转站。它的价格由卡型、量化精度、批处理能力、机房电价决定,不由「良心」决定。

同样是 gpt-oss-120b,DeepInfra 报每百万输入 0.037 美元、输出 0.17 美元,实测 46 token/秒;Groq 报 0.15 与 0.60,实测 477.6 token/秒;Baseten 报 0.10 与 0.50,实测 198 token/秒。一个月跑 5000 万输入加 1000 万输出,账单从 3.55 美元到 13.50 美元,差 3.8 倍——买的是速度和稳定性,不是同一样东西的两种标价。

推理层的成本曲线很陡。同一张卡,跑 8bit 量化和跑 fp16,显存占用差一倍,能塞进的并发差一倍;开连续批处理和不批处理,吞吐能差三到五倍。所以它的报价会随负载浮动,闲时便宜、忙时贵,这不是套路,是产能的物理属性。判断一家推理层中转站是否靠谱,看它敢不敢公开吞吐和首 token 延迟,敢公开的通常有底气。

1.3 转售层:赚的是「信息差加账期」的钱

第三层既没有卡,也没有路由技术,靠批量采购或拆卖订阅拿到低价再零售。那 730 家中转站里绝大多数属于这一层。它的成本不由技术决定,由「货从哪来」决定。

这一层的门槛极低:一套开源面板、一台境外服务器、一个收款码,一周就能开张。所以它的数量最多、生命周期最短、宣传最凶。你在搜索里看到的前二十个结果,多半都在这一层。

1.4 混着叫,才会算错账

把三层统称 Token 中转站,是这个行业最大的认知陷阱。用户往往拿着「最便宜那层」的报价,去要求「最稳那层」的服务水平,然后在出事时觉得被骗——其实一开始买的就不是同一件东西。

更麻烦的是,同一家平台常常同时扮演三层。一个看着像路由层的站点,可能 70% 的流量走正规上游,30% 走拆卖通道;一个看着像推理层的平台,可能自有卡只覆盖热门模型,冷门模型转手给别人。所以判断一家中转站,不能只看它的自我介绍,要看它对每个模型标的价格是否自洽——同一个模型,如果它比所有推理层都便宜,那它一定在转售。

二、钱从哪来:货源四档与毛利率

转售类中转站的成本结构,按货源从干净到脏分四档,每一档对应完全不同的毛利率和风险等级。

货源档位 拿货价 出货价 毛利率 典型形态 主要风险
正规代理 官方价七折 九折 22.2% 签了分销协议的服务商 最低,但价格最不诱人
大厂余量 三折 五折 40% 年度框架采购的剩余额度 政策收紧即断,余量不稳
订阅拆卖 不到一折 五折 84% 把包月账号拆成接口卖多人 封号、限流、并发穿透
号池与逆向 趋近于零 任意 80%–100% 免费额度池、非官方通道 随时失效,数据几乎必然外流

2.1 一个 200 美元的账号怎么变成 2500 美元

订阅拆卖的价差大得离谱,但它是算得出来的:一份 200 美元每月的 Claude Max,按官方单价折算等效额度约 2500 美元,中间有 12.5 倍的制度性价差。拆给 20 个人用,每人收 50 美元,月入 1000 美元,成本 200 美元。

这家中转站的模型要成立,需要三个前提同时成立:并发不超、额度不穿、供应商不查。任何一个破掉,整套就崩。所以这一档的便宜,本质是把「什么时候崩」的风险卖给了你。

三个前提里最脆弱的是并发。官方订阅的风控看的是「同一账号在多少 IP、多少设备、多少条会话上同时活跃」,而不是 token 总量。20 个人只要有三个人在同一分钟提问,特征就露了。所以做这一档的人会做「排队」——你的请求看起来延迟高,其实是在等前面的号空出来。这也是为什么很多超低价中转站的响应时间忽快忽慢,和你自己的负载无关。

2.2 毛利差 4.5 倍,差的是风险定价

同样一天 20 万元流水:正规代理毛利约 4.4 万元,大厂余量约 8 万元,订阅拆卖约 16.8 万元,号池能摸到 20 万元。这个梯度不是效率差异,是风险定价差异——你付得越少,说明卖方替你承担的风险越大,而风险最终会以「某天早上打不开」的形式还回来。

从这个角度看,价格不是质量信号,是「谁在兜底」的信号。正规代理收 22% 毛利,是因为它要垫资、要开票、要承担账期;号池收 100% 毛利,是因为它随时准备第二天关站。你把钱付给谁,就等于把兜底责任交给谁。

2.3 还有三笔不写在价目表上的收入

差价之外,这类中转站通常还有三条进账。一是日志:你调了三小时才写对的提示词,连同全部上下文被整份收走,折扣只是获客成本。二是补贴:部分地区对特定时段的消耗有额度补贴,平台拿补贴、按原价卖。三是缓存:官方对重复输入按约十分之一计价,长对话能省很多,而平台对用户仍按全价结算。

第三笔最容易被忽略,也最值钱。一段五千 token 的系统提示词,在客服、代码助手、知识库这类场景里每次请求都要重发一遍。官方缓存命中后按 10% 计费,平台按 100% 收你的钱,中间 90% 全是净利。一个月一亿输入 token 的业务,这一项就能多出上万元。所以看账单时,除了单价,还要问一句:缓存命中怎么计价。

三、「1 元 = 1 美元」是怎么算出来的

这是整个行业最容易被话术糊住的地方。中转站的售价不由一个数字决定,而由三个参数共同决定。

参数 它决定什么 常见写法 猫腻在哪
充值汇率 人民币换多少额度 「1 元 = 1 美元」 只解决看起来便宜,不解决实际单价
模型倍率 该模型按官方价几倍扣 0.5 至 2.0 不等 便宜的模型倍率低,贵的模型倍率高
分组倍率 你的身份再乘几成 普通 1 倍、官转 2 倍 「官转」往往是最贵的分组
缓存计价 命中缓存的输入怎么算 多数不单列 官方打折,用户全价

3.1 一个真实算例

某家中转站首页写「1 元 = 1 美元额度」。照直觉,这像官方价的七分之一,也就是 14%。但它的模型倍率设成 1.5,官方转发分组再乘 2。按官方价折算,这个倍率本该对应 0.55 的系数。于是 1.5 ÷ 0.55 × 2 × 1 = 5.45,你以为是 1.4 折,实际是官方价的 7.68 折。

这不是孤例,是行业的标准做法。也正因为如此,730 家中转站里敢在首页明写「几折」的只有 7 家——写 3 折,可能只对某一个分组、某一个模型、某一个时段成立。

3.2 三步自查真实单价

第一步,选一个常用模型跑 1000 次固定长度请求,记录 token 数。第二步,用实际扣费除以 token 数,得到你的每百万 token 单价。第三步,除以官方挂牌价,就是真实折扣。整个过程不到半小时,比看宣传页准。任何一个中转站都该先过这一关。

补一个细节:跑测试时要把输入和输出分开记。很多中转站的输入价很漂亮,输出价却是官方 1.5 倍,而真实业务里输出往往占成本的四到六成。只看输入单价的比价,等于只看半张账单。

四、掺水:最贵的那种便宜

4.1 十次里换一两次,人感知不到

一个官方输出价每百万 25 美元的模型,后台悄悄换成每百万 0.28 美元的开源模型,毛利率 98.9%。哪怕按官方一折卖 2.5 美元,成本 0.28,还有 88.8% 的赚头。不需要全换,十次里掺一两次,普通用户几乎无法察觉。

所以「便宜得离谱但用起来还行」是可能的——大部分请求走了正品,偶尔几次走了替代品,而那几次恰好是你最没注意的时候。

4.2 五个自查动作

一是同一条提示词问 20 次,看风格是否漂移。二是问一个只有原模型才知道的细节,比如它知识截止之后才发生的事。三是翻返回体里的用量字段,有的会漏出真实模型标识。四是长上下文里塞一个「针」,看它能不能准确捞回来。五是同一段代码让它改三遍,看错误模式是否一致。

4.3 比掺水更隐蔽的两种手法

第一种是截断。你设了 4000 输出上限,它给你 1800 就停,理由是「模型认为答完了」。你的账单按 1800 算,看着没亏,但业务上你少了半篇文章,得再发一次请求,总成本反而更高。判断方法很简单:统计一段时间里 finish_reason 的分布,正常业务里 length 应该占少数,如果突然全是 stop 且长度集中在一个偏低的值,就有问题。

第二种是降级上下文。你发 3 万 token,它只把前 8000 传给上游,剩下的丢掉。表现是「前面说的它记得,中间说的它忘了」,很像模型能力问题,其实是管道问题。测法是做一个位置实验:在长文的首、中、尾各埋一个唯一编号,看它能不能全部复述。三个编号缺一个,就是被截了。

五、海外阵营:路由层与推理层各是谁

5.1 路由层

OpenRouter 是这类中转站的标杆,400 多个模型、80 多家供应商,一个密钥打通,支持按价格、延迟、吞吐路由,并提供供应商故障自动切换。免费层给 25 个以上模型、每天 50 次请求,历史充值满 10 美元后提到每天 1000 次。

Cloudflare AI Gateway 走另一条路:把网关做成边缘网络的一层,核心功能免费,计费按上游价透传。它的真正价值是把缓存、限流、重试、日志放在离用户最近的节点上,对已经用 Cloudflare 的团队几乎是零成本接入。

Portkey 偏企业治理,开发版每月 1 万次请求,强项是可观测性与策略拦截:可以按团队、按用户设预算,可以拦截包含敏感词的请求,可以把提示词版本化。它卖的不是通道,是管控。

Requesty 主打「自动路由到最便宜的可用端点」,实测把同一份负载压到 81.90 美元,比直连某些端点还低。它的思路是把比价做成实时竞价,每次请求都重新选一次供应商。

5.2 推理层

DeepInfra 的定位是地板价,多数开源模型报价最低,默认无服务器,同权重提供三档速度。它的商业逻辑是把 GPU 利用率榨到极限,所以冷门模型会排队,热门模型很快。

Together AI 强在微调与自定义检查点,从训练到推理一条链,适合有自有数据的团队。Fireworks 强在「推理跑在哪」可控,区域固定版本贵 50%,批量打五折,缓存输入按 2% 计价。Groq 用自研芯片换吞吐,是这批里最快的,代价是模型覆盖窄、只支持自家编译过的权重。

Novita AI 主打性价比批处理,适合离线任务;Baseten 主打托管自有权重,可以把你的微调模型部署成专属端点,按分钟计费而不是按 token。Cerebras 的 wafer-scale 芯片在超长上下文上有独特优势,但价格也在这批里偏高。

5.3 云厂商那一层

Amazon Bedrock、Google Vertex、Azure OpenAI 严格说不算中转站,但对公业务绕不开:合规链条完整、有合同、能开票、数据不出区域,代价是上架慢、没折扣、并发要单独申请。正确用法是当价格基准,不是当省钱工具。

一个实用做法是:把云厂商的挂牌价当成「天花板价」,任何中转站报出的价格如果高于它,就没有存在意义;如果低于它 30% 以上,就要问货源。这条线一画,选型范围立刻清晰。

5.4 七家平台逐一点评

平台 层 强项 短板 适合
OpenRouter 路由 覆盖最广,故障自动切换 充值手续费,国内访问需条件 多模型尝鲜、兜底通道
Cloudflare AI Gateway 路由 边缘缓存,接入零成本 治理能力弱于专业网关 已用 Cloudflare 的团队
Portkey 路由 预算管控、策略拦截 免费额度小 多团队共用一套密钥
DeepInfra 推理 开源模型地板价 冷门模型排队 成本敏感的批量任务
Together AI 推理 训练推理一体 价格中位 有自有数据的团队
Fireworks 推理 部署区域可控、缓存便宜 贵,配置复杂 对延迟和区域有要求
Groq 推理 吞吐最快 模型少 实时交互、语音

把这七家放在一起看,会发现一个规律:路由层的护城河是覆盖和切换,推理层的护城河是单位成本。前者越用越省心,后者越用越省钱,但省钱有上限——卡就那么多。所以一个成熟团队通常会两家都用:路由层做入口,推理层做主力,云厂商做兜底。

六、国内阵营:备案、发票、直连三件事

国内中转站的选型逻辑和海外完全不同。海外比模型覆盖和延迟,国内先比三件与钱和合规直接相关的事:有没有备案、能不能开增值税专用发票、是不是国内直连。

类型 代表平台 计价 发票 国内延迟 适合谁
有备案有专票 DMXAPI 人民币,按 token 分输入输出 6% 增值税专票与普票 实测 30–50ms 需要对公结算的企业
国产开源为主 硅基流动 人民币,按量 支持 实测 40–60ms 跑国产开源模型的团队
聚合但主体在海外 302.AI、AiHubMix、CloseAI-Asia 美元或人民币混合 以平台实际口径为准 视网络环境 测试期对照、模型尝鲜
低价转售 云雾、TokenMix 及各类小站 常以「0.5 元兑 1 美元」计价 多数无 不稳定 个人临时用、非生产
运营商 移动、联通省级试点 套餐制 正规 本地节点 本地政企项目

6.1 有备案有专票这一类

DMXAPI 是典型:启用模型超过 500 个,覆盖 DeepSeek、千问、智谱、豆包、Kimi 以及文生图、文生视频、语音合成;人民币计价、输入输出分开算、缓存读写单列;1 元起充、余额不过期;开 6% 增值税专用发票,项目写「技术服务费」,支持公对公;国内直连实测首 token 30–50ms。折扣上,通义千问与豆包约 7.9 折,中文开源与多模态约 9.5 折,国产模型最低 5 折起。这类中转站的定价不是最狠的,但备案可查、发票能入账、链路不出境,恰好是企业采购的三道硬门槛。

6.2 国产开源那一类

硅基流动的模型池以国产开源生态为主,接口走 OpenAI 兼容路线,延迟实测 40–60ms,优惠价结算。优势是国产模型上新快、价格透明,劣势是闭源模型覆盖有限。

这类平台适合两类人:一类是明确只用国产开源模型的团队,比如做政企内网、做中文垂直场景;另一类是把国产模型当「低价备胎」的团队,主链路走前沿闭源,溢出流量切到国产开源,成本能压掉一大截。要注意的是,同一份提示词在不同模型上的表现差异很大,切换前必须做一轮回归测试,否则省下的钱会被返工吃掉。

6.3 聚合但主体在海外

302.AI 主打 500 多个模型聚合、零月费按量付费;AiHubMix 覆盖广但售后一般;CloseAI-Asia 强调官方转发与灾备,可开票。这三家的共同问题是主体、备案、发票口径要逐个核实,网络访问也常需额外条件。当中转站里的「测试期对照样本」合适,当长期对公渠道要谨慎。

6.4 低价转售与运营商

云雾这类中转站常打「0.5 元兑 1 美元」的招牌,TokenMix 主打多模型聚合加多种支付。价格确实低,但第二、三节讲的两件事在这里同时成立:货源大概率落在第三、四档,定价大概率用了三参数结构。个人临时跑脚本可以,接生产要命。

更值得注意的是运营商进场。2026 年,中国移动和中国联通的相关服务已下沉到省级试点,上海、北京、湖北等地上线本地化套餐。它们的优势不在价格,在开票、合同、属地服务天生齐备。对政企项目,这比便宜 20% 更有吸引力。

6.5 备案和发票怎么核

备案查两处:一是工信部备案系统里查域名主体,二是看它公示的算法备案编号。主体名称要和合同签约方、开票方三方一致,这三者对不上的,后面报销一定卡住。

发票核三处:票面项目是不是「信息技术服务」或「技术服务费」,税率是 6% 还是 3%,能不能开专票。有的平台只能开「软件服务」或「咨询服务」,财务不一定认;有的只能开普票,等于你的进项抵扣直接损失六个点。这些都要在付款前问清,不要等到月底。

七、多模态与专用通道:图、视频、语音怎么中转

文本之外,图像、视频、语音的中转逻辑完全不同,计价单位也不是 token,混在一起比价必然出错。

模态 计价单位 常见档位 最容易被做手脚的地方
文生图 按张 0.01–0.08 美元/张 降分辨率后放大、换小模型
文生视频 按秒 0.05–0.50 美元/秒 失败也扣、按最长档计
语音合成 按字符 0.5–3 元/万字符 标点也计费、换廉价音色
语音识别 按音频时长 0.1–0.6 元/分钟 静音段也计时
向量化 按 token 0.02–0.13 美元/百万 截断长文本、降维度

7.1 图像:一张图的价格差在哪

同一条提示词,不同通道出来的图可能差一个档次。原因不在模型名,在参数:分辨率是 1024 还是 512、步数是 30 还是 15、有没有开精修。低价通道的常规做法是用 512 生成再放大到 1024,肉眼看小图没差别,放到详情页就糊。

验证方法很土但有效:让它生成一张带小字的图,比如招牌上的四个汉字。真 1024 的能看清,放大出来的是一团。另一个方法是看返回的图片元数据,很多通道会把实际尺寸和模型版本写进去。

7.2 视频:按秒计费的水最深

视频按秒卖,5 秒和 10 秒是两个价位,中间不是线性关系。有的平台按「生成档位」收费而不是按实际时长,你只要 5 秒也按 10 秒扣;有的失败任务照扣不误,重试三次扣三次。这两条加起来,实际单价能翻两倍。

下单前要问清三件事:失败退不退、按档位还是按时长、有没有并发限制。视频生成是重任务,一家小站同时跑不了几个任务,排队一小时很常见,而排队期间你的钱已经付了。

7.3 语音:字符和时长两个坑

语音合成按字符计费,标点、空格、换行算不算字符,各家口径不同。一段带大量标点的文案,按含标点计费可能比纯文字多出两成。语音识别按音频时长计费,静音段也算,一段会议录音里三成是沉默,这部分钱照付。

更隐蔽的是音色替换。你选了一个情感音色,实际合成用的是基础音色加轻微变速,听感差一截但账单一样。判断方法是合成同一句话,和官方 demo 逐字对比,重点听句尾的语调和停顿。

7.4 多模态的计价陷阱

图片输入在很多平台上按 token 折算,一张 1024×1024 的图可能折 1000 多个 token,也可能折 85 个,取决于它怎么切块。同一张图,两家账单差十倍,不是算错,是切法不同。做视觉类应用前,一定要用固定图片测一轮,把「一张图等于多少 token」这个系数测出来,再算成本。

八、横向对比一:同一批请求,五张账单

空谈折扣没意义,看同一份负载在不同中转站上的实际扣费更有说服力。以下是一组公开实测:用两个参考模型跑相同请求,再按各平台账单页的实际扣费折算成每百万 token 成本。

平台 定位 低价模型 每百万 前沿模型 每百万 整轮总账单 中位延迟
DeepInfra 推理层,地板价 0.058 美元 0.38 美元 0.78 美元 较快
OpenRouter 路由层,不加价 0.044 美元 0.46 美元 0.92 美元 0.76 秒
Fireworks 推理层,可控部署 0.23 美元 1.34 美元 2.81 美元 中等
Requesty 路由层,自动择廉 0.14 美元 1.63 美元 3.20 美元 中等
Together AI 推理层,训练一体 0.11 美元 1.67 美元 3.20 美元 中等

最反直觉的是:路由层不一定比推理层贵。OpenRouter 整轮账单 0.92 美元,比 Fireworks 的 2.81 美元低三分之二,因为它会把请求路由到最便宜的健康端点。好的中转站不但不该被消灭,反而应该更便宜——它把比价自动化了。

但要注意样本量。这类实测通常只跑几十次请求,延迟数据的方差很大,中位延迟只能看量级,不能看小数点。真正做决策时,应该用自己的真实提示词、真实长度、真实并发跑一遍,至少一千次,否则容易被单次抖动误导。

九、横向对比二:同一个模型,七个端点

端点 输入 每百万 输出 每百万 实测吞吐 首 token 月成本(5000 万入 + 1000 万出)
DeepInfra 标准 0.037 美元 0.17 美元 46 token/秒 0.76 秒 约 3.55 美元
DeepInfra 加速 0.15 美元 0.60 美元 159 token/秒 0.72 秒 约 13.50 美元
Novita AI 0.05 美元 0.25 美元 90 token/秒 0.97 秒 约 5.00 美元
Baseten 0.10 美元 0.50 美元 198 token/秒 0.24 秒 约 10.00 美元
Groq 0.15 美元 0.60 美元 477.6 token/秒 0.68 秒 约 13.50 美元
Together AI 0.15 美元 0.60 美元 未公布 未公布 约 13.50 美元
Fireworks 0.15 美元 0.60 美元 未公布 未公布 约 13.50 美元

这里有个陷阱:这三家中转站的挂牌价完全一样,都是 0.15 与 0.60,但实测吞吐分别是 159、477.6 和「没公布」。同样一分钱,速度可能差三倍,价格表看不出来,只有压测能看出来。所以选推理类中转站时,正确的问题不是「谁最便宜」,而是「在我要的那个模型上,谁的单位时间产出最高」——交互式看首 token 延迟,批处理看吞吐。

换算成更直观的口径:一条 800 token 的回答,46 token/秒要 17 秒,477 token/秒要 1.7 秒。前者用户会以为卡了,后者是「秒出」。如果你的产品是聊天、语音、实时助手,这十几秒就是生死线,省下的 10 美元账单远不够赔流失。

十、成本模型:五种业务场景的月度账单

比价之后要落到预算。下面五组数字按公开单价 0.15 美元输入、0.60 美元输出估算,只算模型调用,不含服务器与人力。真实业务请替换成你自己的单价。

场景 日请求量 单次输入/输出 月输入 token 月输出 token 月账单
客服机器人 3 万轮 1200 / 180 约 10.8 亿 约 1.62 亿 约 259 美元
代码助手 2000 次 3000 / 800 约 1.8 亿 约 4800 万 约 56 美元
内容生产 200 篇 2000 / 3000 约 1200 万 约 1800 万 约 13 美元
RAG 知识库 2 万次 8000 / 600 约 48 亿 约 3.6 亿 约 936 美元
Agent 任务 3000 个 4000×15 步 / 500 约 54 亿 约 4500 万 约 837 美元

10.1 客服:缓存是最大变量

客服场景的特点是系统提示词极长且固定,每轮都重发。一个月 10.8 亿输入 token 里,可能有七成是同一段提示词。开缓存后,这部分按 10% 计价,账单从 259 美元降到约 146 美元。所以谈价时不要只谈单价,要谈「缓存命中价」,这一项的杠杆比单价大。

10.2 代码助手:输出比输入贵

代码场景输出长,一次补全动辄几百行。4800 万输出 token 里,如果有一半是重复的样板代码,用模板或本地补全拦掉,账单能砍三成。这类场景更适合按「补全次数」包月,而不是纯按 token,因为单次成本波动太大。

10.3 内容生产:单价低但质量敏感

一个月 13 美元,几乎所有中转站都付得起。这类业务的问题不是钱,是稳定性——写到一半模型被换成小模型,出来的稿子风格突变,返工成本远超省下的钱。所以内容类业务优先选掺水风险低的通道,价格排第二。

10.4 RAG:输入长度是命门

RAG 每次要带 5 到 10 个检索片段,输入轻松到 8000 token。一个月 48 亿输入,账单近千美元。优化方向有三个:片段重排后只留前三条、把长文档预压缩成摘要、对高频问题做答案缓存。三招叠加能降 60%,比换便宜通道有效得多。

10.5 Agent:步数乘出来的成本

Agent 的成本是「单步成本 × 步数」,而步数不可控。一个任务 15 步,实际可能跑到 40 步。控制成本的办法是设步数上限、设 token 预算、把简单子任务路由到小模型。很多团队的费用失控,不是单价高,是某个 Agent 陷入循环,一晚上烧掉一个月预算。

十一、对账:怎么核对平台到底扣了多少

中转站的账单是一份「对方出具的对账单」,你不核,它永远是对的。核对只需要三个字段和一张表。

11.1 三个字段

返回体里的 usage 通常有 prompt_tokens、completion_tokens、total_tokens,有的还有 cached_tokens、reasoning_tokens。要确认三件事:缓存命中是否单列、推理模型的思考 token 算不算输出、失败请求是否计入。这三条口径不同,账单能差 20% 以上。

11.2 差额从哪来

常见五种:一是倍率四舍五入,单次看不出来,百万次就明显;二是失败请求照扣,尤其是流式中断;三是缓存未按折扣计;四是图片按 token 折算的系数被调高;五是分组倍率在你不注意时被改。前四种是技术性误差,第五种是商业行为。

11.3 对账表怎么搭

每天拉一次平台账单,同时用自己记录的 usage 汇总,两列相减得差异率。差异率超过 3% 就发起工单,连续三天超过 5% 就换供应商。这张表不需要复杂工具,一张表格加一个定时任务就够,但它能让你在损失变大之前发现异常。

日期 请求数 平台扣费 自算金额 差异率 处置
周一 12.4 万 18.62 美元 18.41 美元 +1.1% 正常
周二 13.1 万 19.80 美元 19.35 美元 +2.3% 观察
周三 11.8 万 19.15 美元 17.62 美元 +8.7% 发工单
周四 12.2 万 19.90 美元 18.10 美元 +9.9% 停止充值

这张表还能反推货源。如果某家中转站在你用量平稳时,差异率突然从 1% 跳到 9%,大概率是它换了上游——新的上游贵,它不想自己承担,就在计费上找补。这种事不会写在公告里,只能从账上看出来。

十二、工程实践:多通道、重试、熔断、降级

选好中转站只是一半,另一半是别把业务绑死在一条通道上。这一节是可以直接照做的工程清单。

12.1 多通道:至少两条,权重可调

主通道承担 80% 流量,备通道承担 20%。备通道不能是「备用状态」,必须常跑,否则真出事时它的密钥过期、额度用尽、模型下架,你一无所知。20% 的常态流量是保险费,不贵。

12.2 重试:只重试该重试的

429、500、502、503、504 和超时可以重试,400、401、403、404 不要重试——参数错、密钥错、模型名错,重试一百次也是错。退避用指数加随机抖动,第一次 1 秒、第二次 3 秒、第三次 8 秒,最多三次。超过三次就交给熔断。

12.3 熔断:别让一条坏通道拖垮全局

连续 10 次失败,或 30 秒内错误率超过 50%,就把这条通道熔断 60 秒。熔断期间所有流量走备通道,60 秒后放一个探测请求过去,成功就恢复,失败就继续熔断。这套逻辑不复杂,但能避免「一条通道慢,把线程池占满,整个服务雪崩」。

12.4 降级:三级台阶

第一级,同模型换通道;第二级,换同级模型;第三级,换小模型或规则兜底。三级都要预先配好,并且定期演练。很多团队写了降级代码,但从没触发过,真到用的时候发现降级目标也挂了。

12.5 可观测:五个字段必须记

每次请求记 model、upstream、latency、tokens、cost。有了这五个字段,你能回答三个关键问题:哪个上游最慢、哪个模型最贵、成本涨在哪个业务线。没有它们,所有优化都是猜。

十三、迁移:从 A 站换到 B 站要改多少

大部分中转站都兼容 OpenAI 的接口格式,所以迁移的主要工作是改两处:base_url 和 api_key。但「兼容」不等于「一致」,下面六处差异要在灰度阶段逐一验证。

差异点 表现 验证方法
函数调用格式 tools 字段结构不同 跑一个带两个工具的用例
流式分片结构 delta 里字段缺失 抓原始流,逐片比对
多模态入参 图片用 url 还是 base64 两种都试一遍
错误码 额度不足返回 400 而非 429 故意用错密钥
长度语义 max_tokens 含不含输入 设小值看截断位置
系统提示位置 是否必须放第一条 放中间看是否报错

灰度按 1%、10%、50%、100% 四步走,每一步至少观察 48 小时,重点看三件事:错误率、P95 延迟、单次成本。三项都平稳再进下一步。最忌讳的是「一次全切」,出了问题分不清是新通道的锅还是自己代码的锅。

十四、自建:四条路怎么选

当你有三个以上上游密钥、需要按人分发、或者数据不能出内网时,自建网关比直接买一家中转站的服务更划算。主流方案有四种形态。

方案 部署 资源占用 供应商覆盖 管理界面 适合场景
One API Docker 一条命令 轻,单容器 30 多家渠道类型 有,界面朴素 个人、小团队控额度
New API Docker + 数据库 + 缓存 镜像约 30MB,整套超 500MB 更广,含第三方格式 有,现代化 需要充值与运营闭环
LiteLLM Proxy Python 包或容器 镜像 500MB 以上,需数据库与缓存 100 多家 无,配置驱动 工程化、代码控路由
1Panel AI 网关 单容器 约 30MB,无外部依赖 主流厂商 有 企业私有化快速落地

14.1 三个方案的性格

One API 两万多星、中文资料最全、一条命令起,客户端只改接口地址和密钥;缺点是界面朴素、容灾靠渠道优先级。New API 是它的衍生版,把「渠道—令牌—用户分组—计费充值」做成闭环,代价是要额外挂数据库与缓存。LiteLLM 覆盖 100 多家供应商,配置能进版本管理,故障转移最顺手:同一逻辑模型名配两条上游链路,主链路 429 或 5xx 时自动切备链路;代价是镜像大、依赖多、上手易被文档绕晕。

14.2 自建的四个边界

一是单机没容灾,网关挂了调用就断。二是免费额度会变,2026 年就有平台把免费层模型改成企业专属,架构绑在免费额度上等于埋雷。三是密钥轮换、渠道失效、版本升级都要自己盯。四是自建省的是钱,花的是人——调用量上来后运维精力会变成新成本项。这也是很多人最后又回去买托管中转站服务的原因。

14.3 部署清单

机器:两核四 G 起步,磁盘 40G,出口带宽够跑并发。数据库:MySQL 或 PostgreSQL,单独一台或同机。缓存:Redis,用来存令牌和限流计数。反向代理:Nginx 加证书,开 gzip。备份:每天导一次库,保留七天。监控:探活接口每 30 秒一次,失败告警到群。以上七项配齐,才算能上生产。

还有一个常被跳过的动作:把网关的日志关掉或脱敏。自建的意义之一是数据不出内网,如果网关把完整请求体写进日志、日志又没设保留期,等于自己造了一个泄露源。

十五、便宜的四种代价

15.1 断供

订阅拆卖的号会被封,大厂余量会因政策收紧而消失,海外平台会对数据中心 IP 做风控。三种断供的共同点是:发生在凌晨,没有工单,没人接电话。唯一能做的是提前准备第二家。

15.2 掺水

见第四节。它比断供隐蔽,因为服务一直在,只是答案变差了。对内容业务是质量下滑,对代码业务是改了三遍还是错。

15.3 日志与跑路

你调试三小时才写对的提示词,包含业务逻辑、客户数据、内部术语,被整份收走。一个粗略判断是:某家中转站的售价长期低于官方价 20% 以上、又没有可见的补贴来源,那它大概率在别处变现。至于跑路,预充值加个体主体等于把沉没成本交给对方保管,「余额永不过期」反过来读就是:你的钱一直放在别人账上。

15.4 合规

这一项最容易被技术团队忽略。数据出境要走评估,生成内容要有标识,未成年人相关场景要有限制,行业监管还有各自的留痕要求。用一个主体在境外、没有任何备案的中转站接国内用户业务,出问题时责任在你,不在它。便宜省下的钱,可能不够一次整改。

十六、密钥与数据安全

16.1 密钥分三级

生产密钥只放在服务端,权限最小化,按业务线各发一把;测试密钥单独一把,额度设上限;临时密钥给外包和试用,七天自动失效。三级别混用,是泄露后无法定位、无法止损的根源。

16.2 泄露了怎么办

四步:立即在平台吊销、查最近 24 小时用量曲线找异常峰值、换新密钥并加 IP 白名单、复盘日志看有没有数据被拉走。最忌讳的是只换密钥不清查——有的密钥被拿去跑了几天,账单在你发现时才出来。

16.3 数据脱敏

手机号、身份证、银行卡、地址这几类,在出网关前用规则替换成占位符,回来再还原。人名和公司名用轻量模型做识别替换。这套处理会增加一点延迟,但对客服、医疗、金融类业务是必须的——你无法确认中转站会不会留存请求体,那就默认它会。

十七、选型的正确顺序:不是先比价

大部分人面对一屏中转站时从价格开始,这是错的。正确的顺序是四问,每一问都会砍掉一批候选。

17.1 第一问:数据能不能出境

金融、政企、医疗、法务这几类业务,这条是硬门槛。要对方提供链路部署说明和日志留存能力,能按账号、密钥、项目维度导出日志,才过得了内审。跨境链路的便宜中转站,这一步就该出局。

17.2 第二问:账单能不能入账

能不能开增值税专用发票、项目名是不是技术服务费、能不能公对公、能不能先票后款。这一条会直接砍掉一半候选,包括很多模型很全的海外平台。

17.3 第三问:断了怎么办

有没有多通道、自动切流、健康巡检。验证方法是压测时故意把一条通道打满,看返回是否 5xx 泛滥,还是自动切走。这一步能筛掉所有只有一条链路的中转站。

17.4 第四问:才轮到价格

把所有这些中转站的报价折算成「每百万 token 实际支出」,再叠加你的缓存命中率。缓存写入要单独算账,很多平台写入收费、命中免费,长对话场景下这一项能占总成本的三成。

十八、2026 年的三个结构性变化

18.1 路由层正在变成支付基础设施

Stripe 收购 OpenRouter 的意义不是又一个大厂买了个小公司,而是说明「帮开发者在能力、价格、速度、可靠性之间做选择」这件事,已经重要到值得支付巨头花钱买下来。当路由层嵌进支付和结算,它就不再是中间商,而是基础设施——选这类中转站,其实是在选一套结算通道。

18.2 token 上了货架

2026 年双十一,阿里云、DeepSeek、智谱、MiniMax、Kimi 把订阅和 token 充值做成了电商促销品类,平台还在设计面向学习、家庭、一人工作室的组合套餐。token 正在像手机流量包一样被打包、被比价、被赠送,运营商进场是同一个逻辑的延伸。

18.3 中间层被两头挤压

一头是模型厂商自己做直销和促销,一头是云厂商和运营商做合规通道。夹在中间的纯转售,既没有卡也没有网络效应,空间在收窄。能活下来的只有两种:有算力的和有网络效应的。这对选型有直接含义——尽量选能活到明年的那一家中转站。

十九、四类角色怎么选

个人开发者:一家推理层加一家路由层就够。推理层选地板价跑日常,路由层做模型尝鲜和兜底。月账单控制在 20 美元以内,不要一次预充几百元,你省下的折扣抵不过一次跑路。

三五个人的小团队:路由层做主力,自建 One API 做备份,两家密钥都放进网关。任一家出问题,改一个配置就能切;预算按项目打标签,月底对账十分钟能做完。

有对公需求的企业:国内有备案、能开专票的一家做主力结算,海外路由层做模型补充但走单独预算。合同里写清可用性口径、故障响应时限、数据不留存,别把业务压在一家没有承诺的中转站上。

政企与金融:走云厂商托管加私有网关,不碰第三方转售。这一步没有性价比可谈——数据不出境、审计可追溯、发票合规,价值远高于省下的 token 钱。

二十、常见问题

20.1 Token 中转站和官方接口到底差在哪

差在三件事:谁承担上游风险、谁的账单能入账、数据经不经过第三方。官方接口贵在原价但责任清晰;路由层贵在手续费,换来多供应商兜底;转售层便宜,是把风险转移给你。三者不是同一商品的不同价格,是三种合约。

20.2 为什么有的站能卖到官方价一折

因为它的货不是按官方价买的。订阅拆卖、大厂余量、号池,这三档拿货成本都远低于挂牌价。一折不是让利,是成本结构不同。代价是这类供给不稳定,随时可能消失。

20.3 「1 元 = 1 美元」是真的吗

这句话本身不假,但它只描述了三个参数里的第一个。真实单价还要乘模型倍率和分组倍率。常见的组合是「汇率看着狠、倍率悄悄抬」,最终落在官方价五折到八折之间。想验真,用第三节的三步法。

20.4 怎么判断一个站有没有掺水

五个动作:同题重复问看风格漂移、问知识截止后的事件、翻用量字段里的模型标识、长上下文塞针看召回、同一段代码改三遍看错误模式。任意两个异常,基本能确认。

20.5 自建网关和买中转,哪个更划算

看密钥数量和对中转站的依赖程度。三个以上密钥、需要按人分发、数据不能出内网,满足两个就该自建。只有一两个密钥、调用量不大时,自建的时间成本远高于省下的钱。

20.6 预充值安全吗

小额、短期、有正规主体的中转站,风险可控。大额预充、主体是个人或海外壳公司、只给余额不给合同的,本质是你给它做无息贷款。经验是单个平台余额不超过一个月用量,长期合作再谈账期与合同。

20.7 中转站跑路了余额能追回吗

几乎不能。你和它之间是服务合同,主体如果是个人或境外壳公司,诉讼成本远高于余额。唯一有效的动作是付款前控制敞口,而不是事后追讨。

20.8 同一家站为什么不同模型价格差这么多

因为货源不同。热门模型它可能自己有卡或拿到低价,冷门模型转手给别人,价格自然不同。价格表参差不齐不一定是坏事,全表都极低才值得警惕。

20.9 用小站省钱,出问题再换,可行吗

非核心业务可行,核心业务不可行。换站的成本不只是改配置,还有历史数据、提示词调优、输出格式适配。真出事那天,你没有时间做这些。

20.10 海外中转站必须科学上网吗

多数需要。这带来两个问题:链路不稳定、延迟高,以及合规上的不确定性。对国内用户业务,这条本身就构成筛选条件。

20.11 充值送额度是好事吗

看你打算用多久。送 50% 通常对应「锁半年」,本质是让你预付。如果这家半年内消失,送的部分和本金一起没。把它当成折扣可以,别当成资产。

20.12 为什么有的站响应特别慢

三种可能:上游排队、拆卖账号在等号空出来、服务器本身弱。区分方法是看首 token 延迟和总时长的比例,首 token 慢是排队,总时长慢是模型小或输出被限速。

20.13 中转站会不会偷看我的数据

技术上完全做得到,是否做取决于它的商业模式。判断依据是它靠什么赚钱:靠手续费的不需要看,靠价差的有动机看,靠「数据变现」的一定在看。合同里的「不留存」条款,只有能审计的平台才作数。

20.14 一个密钥能同时用在多个中转站吗

不能。密钥是平台内凭证,换个平台就无效。但你可以用同一个网关管理多家的密钥,对外只暴露一个地址,这是自建的核心价值之一。

20.15 流式输出中途断了怎么算钱

多数平台按已生成的 token 计费,也有的按整段计费。这条要写进测试用例:故意在第 10 个分片断开,看账单扣了多少。差异能到一倍。

20.16 为什么账单比我自己算的多

先查三处:失败请求是否计入、缓存是否按折扣、图片是否按高系数折算。这三处能解释八成差异。剩下的两成,去查分组倍率有没有被改。

20.17 免费额度可以长期用吗

不建议把业务建在上面。免费额度的规则随时会改,2026 年已有平台把免费层收紧成企业专属。当测试资源可以,当生产资源是给自己埋雷。

20.18 中转站支持开发票是不是就合规

不是。发票只解决税务,不解决数据出境、算法备案、内容标识。三件事是三套监管,别用一张发票当成全部合规证明。

20.19 小团队要不要自己搭网关

三个人以下、只有一两个上游,先用托管。人多了、密钥多了、要按项目算账了,再自建。过早自建会把精力耗在运维上,而这段时间本该用来做产品。

20.20 怎么判断一家站明年还在

看三条:有没有自有算力或独家渠道、有没有稳定的对公客户、有没有公开的团队和主体信息。三条都不占的,把它当临时工具,别当基础设施。

二十一、写在最后

把 730 家中转站列成一张表,看着像信息最全,其实没用——因为没有两个站卖的是同一个东西。真正有价值的信息只有三样:它的货从哪来、它的价格怎么算、它出事时你怎么办。

我的判断是,2026 年之后这个行业会越来越像电信业:上游是少数有算力和合规能力的批发商,下游是少数有网络效应的路由平台,中间靠信息差吃饭的会被慢慢挤掉。对使用者来说,选型目标不再是「找到最便宜的那一家」,而是「找到一家明年还在、并且愿意把账算清楚的那一家」。

便宜本身没有错,错的是把便宜当成唯一指标。一份 7.68 折的账单,如果它随时会断、数据随时会流出去,那它比 9 折的贵得多。

THE END
喜欢就支持一下吧
点赞56 分享
评论 抢沙发
头像-知了AI
欢迎您留下宝贵的见解!
提交
头像-知了AI

昵称

取消
昵称表情代码快捷回复

    暂无评论内容