先看怎么选
需要自管统一入口、虚拟密钥和项目用量,可看LiteLLM;希望网关配置、路由与观测治理组合,可看Portkey当前方案;希望直接使用托管多模型聚合服务,可看OpenRouter。部署责任和实际提供方路径是主要分界。
| 这一步要完成 | 相关工具 | 工具介绍 |
|---|---|---|
| 自托管模型网关 | 查看介绍 | |
| 网关与平台控制 | 查看介绍 | |
| 托管多模型聚合 | 查看介绍 |
团队接入多个模型之后,重复工作通常出现在密钥、调用格式、路由与用量归属。LiteLLM、Portkey和OpenRouter都能提供统一入口,但要先区分“自己管理网关”与“使用托管聚合服务”。
| 选择路径 | 代表产品 | 团队主要承担的工作 |
|---|---|---|
| 自托管统一入口 | LiteLLM | 部署网关、接入提供方、维护密钥和策略 |
| 网关与控制台结合 | Portkey | 配置路由、日志和治理,并选择部署边界 |
| 托管模型聚合入口 | OpenRouter | 选择模型及提供方策略,接入统一服务 |
已有提供方账户,需要统一管理
LiteLLM Gateway提供兼容接口、虚拟密钥、用量追踪与路由。团队可以把项目和用户放在自己的网关后面,为不同用途设置模型、预算和限额。官方网关说明把职责写得很清楚:应用调用网关,网关再调用模型提供方。因此它适合希望自己掌握入口与策略的团队,也意味着部署、数据库和升级需要有人负责。
Portkey将统一API、条件路由、回退、重试和观测组合起来。它适合希望从配置与控制台管理AI流量的人,也提供自托管网关路径。AI Gateway文档同时展示了网关能力与不同交付方式;当前文档已使用PRISMA AIRS AI Gateway名称,旧Portkey品牌仍作为可识别入口。不能把开源网关包与完整平台中的每项能力视为完全相同的交付。
希望直接获得模型聚合入口
OpenRouter更贴近使用统一服务调用不同模型的需求,提供模型与提供方路由选择。对于需要快速接入多模型、暂不维护内部网关的小团队,它减少的是逐个提供方接线的工作。快速开始与提供方选择应一起看:同一模型可以经不同提供方执行,路由条件仍会影响实际请求路径。
一次回退会改变什么
假设客服摘要请求先走A模型,失败后转B模型。统一接口使程序容易继续运行,但两者的工具调用、结构化输出和响应字段未必完全相同;这需要应用级兼容检查。回退也可能改变费用、延迟和数据处理位置。它是可靠性策略,不是“切到谁都等价”的承诺。
选型因此可以从责任归属开始:需要内部统一钥匙和策略,研究LiteLLM;希望路由、观测与平台治理组合交付,研究Portkey当前方案;要先使用托管模型聚合服务,研究OpenRouter。不要只按支持模型数量选入口,先看团队要管理哪一层。
工具推荐与取舍
相关工具
liteLLM
自托管模型网关
LiteLLM Gateway是可自托管的统一模型入口,提供虚拟密钥、用量记录、预算与路由。适合把多个项目的提供方访问收回到团队自己的服务中,再按用户和项目分配能力。
- 适合谁用
- 希望自己维护网关与流量策略的研发平台团队。
- 选择前要知道
- 团队需要负责网关、数据库和升级;统一格式不能保证所有模型特性完全等价。
查看交付与边界
- 虚拟密钥、预算与路由
Portkey
网关与平台控制
Portkey将统一API、条件路由、回退和观测接到同一平台,也提供网关自托管路径。适合想通过配置集中组织模型流量与治理的团队;当前官方文档标识为PRISMA AIRS AI Gateway。
- 适合谁用
- 希望路由、日志和控制台能力集中交付的团队。
- 选择前要知道
- 开源网关与完整平台交付范围要分别确认;品牌与方案应按当前官方入口核对。
查看交付与边界
- 路由、观测及部署选择
OpenRouter
托管多模型聚合
OpenRouter以托管服务提供多模型统一调用,并允许选择提供方路由策略。适合先把多模型能力接进应用,再根据任务设置模型与路径,减少自行维护聚合入口的工作。
- 适合谁用
- 暂不自建网关,希望直接接入多模型服务的小团队。
- 选择前要知道
- 同一模型的提供方和路由条件可能不同;数据处理、支持特性与费用需按实际路径确认。
查看交付与边界
- 模型与提供方路由
推荐依据
依据各产品官方文档与公开功能说明,按本篇任务的接入方式、交付产物和使用边界筛选。选择建议为编辑分析;示例另行标注,不构成性能实测或全面排名。
官方资料研究与编辑选用分析;未经运行的示例不标为实测。封面为编辑示意图。
参考资料
功能、套餐与使用条件,以对应产品的最新资料为准。
内容更新于 2026-11-11



