LiteLLM 开源大模型网关与代理｜一个接口统管上百家模型翻译站点

LiteLLM 是一套开源的大模型网关与代理服务，把 OpenAI、Anthropic、Gemini、Bedrock 等上百家提供商的接口收拢到同一个入口。团队不必为每种模型各写一套调用代码，用熟悉的 OpenAI 格式发一次请求即可，适合需要统一管理多家模型的中小团队与个人开发者。

一个接口，上百家模型

LiteLLM 的核心是统一调用。无论背后是 GPT、Claude、Gemini 还是本地跑的 Ollama，请求与返回都遵循同一套 OpenAI 格式，换模型时改动少量配置即可。它内置路由与重试：某个节点响应变慢或报错，可自动切换到备用部署，免得单点故障拖垮线上服务。

自托管的网关代理

• 虚拟密钥：给每个团队或项目分配独立密钥，分别设置额度与频率上限，谁用超了都有据可查。
• 花费统计：按密钥、团队、用户追踪每个模型的开销，月底核账不必再翻各家账单。
• 权限限流：支持按模型、按标签设定每分钟请求数与令牌上限，防止某个调用方占满额度。
• 管理界面：自带后台，可查看模型健康状态、请求日志与实时用量。

Python 里直接调用

对只想在代码里省事的人，LiteLLM 提供 Python 库，把各家的报错统一映射成 OpenAI 的异常类型，原有的错误处理逻辑无需重写。想接可观测性工具时，挂上回调即可把请求送往 Langfuse、Helicone 一类平台，排查问题时留下完整的调用链路。它还支持提示词缓存与按需的响应缓存，重复提问能省下不少额度，缓存命中与否在后台看得见。

覆盖 Agent 与 MCP

除语言模型外，网关还能统一管理 MCP 工具与 A2A 智能体，为每个密钥分别授权可访问的工具范围。搭建多智能体应用时，凭证与权限收在一处，比在代码里散落各家密钥更稳妥。

使用须知与局限

开源版本可自行部署，功能已相当完整；企业版另含单点登录、审计日志等能力，需按需评估。自托管意味着运维、升级与安全都由自己承担，团队若没有相应维护精力，前期反而更费事。文档以英文为主，中文资料较少。接入某家模型前，建议先确认其计费与限流规则，再把流量切过去。