5 个 LLM 网关,按适用场景分类
1.MuiRouter
免费开始一个托管的、OpenAI 兼容网关,连接 OpenAI、Claude、Gemini、Grok、Workers AI、Moonshot 和 MiMo。原生 Anthropic 和 OpenAI 端点,按 token 计价、充值无额外手续费,内置 MCP 服务。
- 无需运维基础设施——注册后直接调用 API
- 原生 /v1/messages 和 /v1/responses 端点,不只是转译层
- 所有模型共用一个钱包、一份用量记录
- 模型目录比部分同类工具窄(精选,不是 100+)
适合想要托管端点、原生访问 Claude/GPT、按 token 简单计费的开发者。
2.OpenRouter
覆盖最广一个托管 API 网关,模型目录是这几个里最广的——覆盖数十家 provider 的数百个模型,按 provider 原价计费,不加价。
- 数十家 provider 的数百个模型
- 对 provider 原始 token 价格不加价
- 有限速的免费模型可以先试用
- 信用卡充值收 5.5% 手续费(加密货币 5%)
- BYOK 超出每月免费额度后收 5% 费用
适合想要覆盖最广的单一模型目录、能接受另外管理充值手续费的团队。
3.LiteLLM
开源一个需要自己部署的开源代理和 Python SDK,把 100+ provider 翻译成统一的 OpenAI 格式接口。企业版加 SSO、审计日志和支持。
- 100+ provider——这里覆盖最广
- 对部署和路由逻辑有完全的控制权
- 开源核心免费
- 基础设施需要你自己运行和维护
- 企业版功能需要付费、价格另议
适合想要完全掌控基础设施、能接受自建的团队。
4.Portkey
企业级平台面向 AI 团队的生产级平台,把 AI 网关、observability、guardrails、治理和 prompt 管理打包在一起,可访问 1,600+ 大模型。
- 模型覆盖最广——1,600+ 大模型
- 深度的 observability、guardrails 和治理功能
- 有免费版可以先试用
- 生产环境完整功能需要付费方案
- 更像一个完整平台而不是轻量路由——配置更重
适合需要治理、guardrails 和 observability、而不只是路由的大团队。
5.Cloudflare AI Gateway
内置在 Cloudflare一个面向 Workers AI、Anthropic、Gemini、OpenAI 等的 AI 调用可观测性和控制层,带缓存、限流和自动 fallback,任何 Cloudflare 账户都能用。
- 如果你已经在用 Cloudflare,不需要再开新账户
- 内置缓存、限流和 fallback
- 所有 Cloudflare 套餐都能用
- 更适合已经在 Cloudflare 上构建的团队
- 跨 provider 的统一按 token 计费不是它的重点
适合已经在 Cloudflare 上构建、想要缓存和 fallback 又不想引入新供应商的团队。
最佳 LLM 网关常见问题
- 该选托管网关还是自建?
- 如果不想运维基础设施,选托管的(MuiRouter、OpenRouter、Portkey、Cloudflare AI Gateway)。如果需要完全掌控路由逻辑、能接受自己运行代理,选自建的(LiteLLM 的开源核心)。
- 哪个网关的模型选择最广?
- OpenRouter 和 LiteLLM 覆盖都很广——OpenRouter 有数百个托管模型,LiteLLM 有 100+ provider 需要你自己接入。MuiRouter 更精选,覆盖大多数团队真正会用到的主流 provider。
- 刚起步的独立开发者最适合哪个?
- MuiRouter 或 OpenRouter 是最简单的起点——注册、拿 Key、调用 API,不需要运维基础设施。MuiRouter 多了原生 Claude/GPT 端点,充值也没有额外手续费。