大模型API网关:统一模型入口、路由与团队用量

比较LiteLLM、Portkey和OpenRouter的统一模型入口,区分自托管网关、平台控制与托管聚合服务,并解释路由回退的实际影响。

本页目录

先看怎么选

需要自管统一入口、虚拟密钥和项目用量,可看LiteLLM;希望网关配置、路由与观测治理组合,可看Portkey当前方案;希望直接使用托管多模型聚合服务,可看OpenRouter。部署责任和实际提供方路径是主要分界。

按环节与需求选择工具,可点「查看介绍」了解推荐理由与取舍。
这一步要完成相关工具工具介绍
自托管模型网关
liteLLM
查看介绍
网关与平台控制
Portkey
查看介绍
托管多模型聚合
OpenRouter
查看介绍

团队接入多个模型之后,重复工作通常出现在密钥、调用格式、路由与用量归属。LiteLLM、Portkey和OpenRouter都能提供统一入口,但要先区分“自己管理网关”与“使用托管聚合服务”。

选择路径代表产品团队主要承担的工作
自托管统一入口LiteLLM部署网关、接入提供方、维护密钥和策略
网关与控制台结合Portkey配置路由、日志和治理,并选择部署边界
托管模型聚合入口OpenRouter选择模型及提供方策略,接入统一服务

已有提供方账户,需要统一管理

LiteLLM Gateway提供兼容接口、虚拟密钥、用量追踪与路由。团队可以把项目和用户放在自己的网关后面,为不同用途设置模型、预算和限额。官方网关说明把职责写得很清楚:应用调用网关,网关再调用模型提供方。因此它适合希望自己掌握入口与策略的团队,也意味着部署、数据库和升级需要有人负责。

Portkey将统一API、条件路由、回退、重试和观测组合起来。它适合希望从配置与控制台管理AI流量的人,也提供自托管网关路径。AI Gateway文档同时展示了网关能力与不同交付方式;当前文档已使用PRISMA AIRS AI Gateway名称,旧Portkey品牌仍作为可识别入口。不能把开源网关包与完整平台中的每项能力视为完全相同的交付。

希望直接获得模型聚合入口

OpenRouter更贴近使用统一服务调用不同模型的需求,提供模型与提供方路由选择。对于需要快速接入多模型、暂不维护内部网关的小团队,它减少的是逐个提供方接线的工作。快速开始与提供方选择应一起看:同一模型可以经不同提供方执行,路由条件仍会影响实际请求路径。

一次回退会改变什么

假设客服摘要请求先走A模型,失败后转B模型。统一接口使程序容易继续运行,但两者的工具调用、结构化输出和响应字段未必完全相同;这需要应用级兼容检查。回退也可能改变费用、延迟和数据处理位置。它是可靠性策略,不是“切到谁都等价”的承诺。

选型因此可以从责任归属开始:需要内部统一钥匙和策略,研究LiteLLM;希望路由、观测与平台治理组合交付,研究Portkey当前方案;要先使用托管模型聚合服务,研究OpenRouter。不要只按支持模型数量选入口,先看团队要管理哪一层。

工具推荐与取舍

相关工具

liteLLM

自托管模型网关

返回选择

LiteLLM Gateway是可自托管的统一模型入口,提供虚拟密钥、用量记录、预算与路由。适合把多个项目的提供方访问收回到团队自己的服务中,再按用户和项目分配能力。

适合谁用
希望自己维护网关与流量策略的研发平台团队。
选择前要知道
团队需要负责网关、数据库和升级;统一格式不能保证所有模型特性完全等价。
查看交付与边界
  • 虚拟密钥、预算与路由

Portkey

网关与平台控制

返回选择

Portkey将统一API、条件路由、回退和观测接到同一平台,也提供网关自托管路径。适合想通过配置集中组织模型流量与治理的团队;当前官方文档标识为PRISMA AIRS AI Gateway。

适合谁用
希望路由、日志和控制台能力集中交付的团队。
选择前要知道
开源网关与完整平台交付范围要分别确认;品牌与方案应按当前官方入口核对。
查看交付与边界
  • 路由、观测及部署选择

OpenRouter

托管多模型聚合

返回选择

OpenRouter以托管服务提供多模型统一调用,并允许选择提供方路由策略。适合先把多模型能力接进应用,再根据任务设置模型与路径,减少自行维护聚合入口的工作。

适合谁用
暂不自建网关,希望直接接入多模型服务的小团队。
选择前要知道
同一模型的提供方和路由条件可能不同;数据处理、支持特性与费用需按实际路径确认。
查看交付与边界
  • 模型与提供方路由

推荐依据

依据各产品官方文档与公开功能说明,按本篇任务的接入方式、交付产物和使用边界筛选。选择建议为编辑分析;示例另行标注,不构成性能实测或全面排名。

官方资料研究与编辑选用分析;未经运行的示例不标为实测。封面为编辑示意图。

参考资料

功能、套餐与使用条件,以对应产品的最新资料为准。

内容更新于 2026-11-11