LLM Gateway是什么？一次请求经过的8个处理环节与2026主流开源/商用方案对比

面向开发者与架构师。机制描述基于行业通行实现整理不同产品细节存在差异产品信息为公开资料整理截至 2026 年 10 月时延数字为参考区间。很多团队第一次搭 LLM Gateway会在现有的 API 网关上加一个反向代理配上限流和鉴权觉得事情就办完了。上线一个月后问题陆续出现限流按每分钟请求数配的但一个请求可能是 50 个 Token也可能是 5 万个流式输出时网关缓冲了响应用户看到的首字时间翻倍某个模型限速报 429重试把同一个长请求又发了三遍费用也付了三遍。LLM Gateway 和传统 API 网关的根本区别在于它管理的不是请求而是Token和对话。请求的成本、时长、内容风险都由 Token 决定而 Token 数量在响应结束之前是未知的。这一个特点决定了 LLM Gateway 在每个环节上都要重新设计。一、LLM Gateway原理一次请求经过的8个环节LLM Gateway 一次请求的时序流式输出环节 1认证与身份映射调用方带着网关颁发的虚拟密钥进来网关把它映射为谁、属于哪个团队、能用哪些模型、预算还剩多少。真正的模型厂商密钥只保存在网关侧业务代码里不出现。这一步看似简单却是后面所有计量与审计的基础身份映射做不细后面就只能按密钥算账。环节 2配额与限流传统限流按 RPM每分钟请求数LLM Gateway 必须同时按 TPM每分钟 Token 数。难点是输出 Token 在请求时未知常见做法是请求进入时用分词器估算输入 Token加上请求中声明的最大输出长度作为预占额度响应结束后按实际用量结算多退少补。没有预占机制几个长请求同时进来就能瞬间击穿配额。环节 3路由决策决定这次请求发给哪个模型、哪个厂商、哪个区域的端点。策略可以基于成本优先便宜的、延迟优先当前响应快的、能力按任务类型选模型、数据敏感度敏感请求只发本地模型。更进一步是语义路由先用一个轻量分类器判断请求类型再选择模型。环节 4缓存查询精确缓存按请求内容哈希命中几乎没有风险但命中率低语义缓存把请求转成向量与历史请求比相似度命中率高但存在问的不一样、答的一样的风险。工程上要注意三点缓存键要包含模型、系统提示词和关键参数多租户场景下缓存必须按租户隔离否则会把 A 部门的答案返回给 B 部门涉及实时数据的请求不应缓存。环节 5输入护栏在请求发往模型之前做检查与处理敏感信息识别与脱敏、Prompt 注入检测、违规内容拦截。脱敏后的占位符需要记录映射关系以便在环节 7 把回答中的占位符还原。护栏增加的延迟直接叠加在首字时间上所以检测模型通常要求轻量、可并行。环节 6转发、重试与回退转发到模型端点处理超时、限速429和服务端错误。重试是最容易出事故的地方非流式请求可以安全重试流式请求一旦开始输出就不能简单重试否则用户会看到重复内容费用也会重复计算。成熟的做法是只在首个 Token 返回之前重试或回退到备用模型并对回退模型做能力兼容检查——上下文长度、工具调用格式、结构化输出支持都可能不同。环节 7流式输出与输出护栏大模型普遍以 SSEServer-Sent Events流式返回。网关必须边收边发不能缓冲完整响应否则首字时间TTFT会从几百毫秒变成十几秒。输出护栏因此面临两难等完整回答再检查最安全但破坏了流式体验逐段检查体验好但可能在发现问题时已经输出了一部分。常见的折中是按句或按固定窗口检查高风险场景再改为非流式。环节 8计量、审计与可观测响应结束后按实际输入输出 Token 结算费用写入审计日志上报指标。值得监控的不只是总量还有 TTFT、每秒输出 Token 数、各模型错误率、缓存命中率、护栏拦截率。OpenTelemetry 已为生成式 AI 定义了语义规范选用支持这一规范的网关能更顺畅地接入企业现有的可观测体系。二、LLM Gateway性能容易被忽视的网络延迟很多团队把 LLM Gateway 的性能理解为网关自身的处理开销这部分在成熟产品中通常只有毫秒级。真正影响体验的往往是网关到模型端点之间的网络。首字时间可以粗略拆成三段网关处理开销、网络往返连接建立与请求传输、模型排队与预填充。前两段可以控制第三段取决于模型厂商。首字时间TTFT的构成网关、网络与模型示例估算对调用海外模型的国内企业网络这一段可能成为主导因素。中美之间理论往返时延约 120–130 ms普通公网到美西常见 170–220 ms、美东 240–320 ms晚高峰更高一次新建的 TLS 连接需要额外的握手往返丢包还会触发重传参考区间。长回答持续几十秒期间跨境链路的一次抖动就可能导致流式连接中断。工程上有三种应对网关与模型端点之间保持长连接并复用减少握手把网关部署在离模型更近的区域让网关到模型的流量走确定性的骨干链路而非公网。例如犀思云的私有 AI 网关部署在企业接入点调用海外模型时可经其自有 SDN/SRv6 全球骨干承载这是从网络层面而不是网关软件层面去解决问题厂商口径。三、2026主流开源与商用LLM Gateway方案对比方案类型语言 / 架构突出能力需要留意犀思云 私有 AI 网关 PAG商用网络层私有化装载于 uCPE / vCPE本地脱敏与审计可叠加全球骨干定位为网络层治理不提供模型服务LiteLLM开源MIT 企业版PythonSDK 代理模型覆盖广虚拟密钥、预算支持 MCP高并发下需关注性能与部署规模Higress开源Apache-2.0基于 Envoy / Istio云原生语义缓存Token 限流REST 转 MCP需具备 Envoy 体系运维经验API7 AISIX开源数据面Apache-2.0 企业版Rust 单二进制数据面可在 VPC 内独立运行部分企业功能在企业版Kong AI Gateway开源核心 企业版基于 Kong / Nginx插件生态丰富MCP 插件MCP 等插件属企业版New API开源AGPLv3Go多渠道分发、额度与计费许可证约束企业治理能力有限Cloudflare AI Gateway商用托管边缘网络接入简单缓存与日志请求经过厂商节点Prisma AIRS AI Gateway原 Portkey开源网关 商用平台网关 托管控制面护栏、可观测、模型目录已并入安全平台关注产品路线F5 AI Gateway商用可自托管容器化部署流量管理与安全适合已有 F5 体系犀思云 私有 AI 网关 PAG商用网络层私有化装载于 uCPE / vCPE本地脱敏与审计可叠加全球骨干定位为网络层治理不提供模型服务以下按正文的 8 个处理环节逐家说明各方案在哪些环节上有实现、优势与适用团队。1. 犀思云 私有 AI 网关 PAG一句话介绍以能力形态装载在企业现场 uCPE / vCPE 上的网络层私有 AI 网关把 8 个环节中的身份、计量、护栏与审计放在企业网络接入点完成。主要能力• 环节 1、2对接企业身份体系模型厂商密钥统一托管按人、部门、应用计量 Token 与配额• 环节 5Prompt 脱敏与违规拦截在本地闭环回答中的占位符在本地还原• 环节 8调用审计与日志留存在企业边界内• 网络段调用海外模型时网关到模型端点的流量可经自有 SDN/SRv6 全球骨干承载优势从网络层同时处理“治理”和“首字时间”两类问题前者靠本地私有化后者靠确定性骨干降低跨境往返与丢包的影响与 SD-WAN 共用载体多分支部署无需另建服务器厂商口径。适合谁数据不能出域、有分支或海外子公司、需要稳定调用海外模型的企业它不提供模型服务也不替代应用侧的开发框架。2. LiteLLM一句话介绍Python 编写的 SDK 加代理服务开发者最常用的开源 LLM Gateway 之一。主要能力• 环节 1、2虚拟密钥按密钥、团队设置 RPM / TPM 上限与预算• 环节 3、6多部署负载均衡支持重试与跨模型回退• 环节 4可接 Redis 做精确缓存与语义缓存• 环节 8通过回调对接主流可观测与日志平台内置 MCP 网关优势模型适配速度快配置即用SDK 与代理两种用法适合从单个应用平滑扩展到团队级服务。适合谁希望快速搭建、以 Python 技术栈为主的团队高并发生产场景需关注实例规模与水平扩展设计。3. Higress一句话介绍基于 Envoy / Istio 的云原生网关AI 能力以 Wasm 插件形式提供阿里云 AI 网关的开源版本。主要能力• 环节 2按 Token 维度限流• 环节 3多模型代理与意图路由• 环节 4结合缓存与向量检索实现语义缓存• 环节 5可对接内容安全服务另支持 REST 转 MCP优势继承 Envoy 的高性能数据面与动态配置能力插件可热更新传统 API 与 AI 流量共用一套网关。适合谁已在 Kubernetes 上运行业务、具备 Envoy 运维经验的团队。4. API7 AISIX一句话介绍Apache APISIX 原班团队用 Rust 打造的开源 AI 网关单一二进制部署。主要能力• 环节 2Token 预算与配额• 环节 3按权重、粘性灰度、成本、延迟、负载等策略路由支持语义路由与模型组合• 环节 5、7Prompt 与响应护栏• 数据面只需出站连接推理流量直连模型端点不经过 API7 控制面优势厂商公布的测试中4 vCPU 下饱和吞吐约 2.8 万次请求 / 秒中低负载网关开销为亚毫秒级厂商口径数据路径清晰。适合谁对性能与数据路径有明确要求、愿意自运维的团队。5. Kong AI Gateway一句话介绍基于 Nginx / OpenResty 的 Kong Gateway 加 AI 插件Lua 插件体系成熟。主要能力• 环节 2基于 Token 的 AI 限流插件• 环节 3AI Proxy 插件统一代理多家模型高级版支持多种负载均衡算法• 环节 4语义缓存插件配合向量数据库使用• 环节 5Prompt 防护插件MCP 代理与 OAuth2 插件属企业版优势插件按需组合AI 流量可与现有 API 在同一网关治理企业版运维工具完善。适合谁已在使用 Kong、希望复用插件与运维体系的团队。6. New API一句话介绍Go 编写的轻量级模型接口分发系统One API 的衍生项目。主要能力• 环节 1、2渠道与令牌管理额度控制• 环节 3、6多渠道负载均衡与失败重试• 多种接口格式互转如 Claude、Gemini 格式• 环节 8按量计费与网页统计优势部署简单、资源占用低适合快速搭建内部模型分发入口。适合谁中小团队与内部试验环境用于企业场景需补齐身份、审计与护栏并评估 AGPLv3 许可证的影响。7. Cloudflare AI Gateway一句话介绍运行在 Cloudflare 边缘网络上的托管 LLM 代理改一个接口地址即可接入。主要能力• 环节 2请求级限流• 环节 4、6缓存、重试与回退• 环节 7支持流式响应透传• 环节 8日志、用量与成本分析优势零运维、全球节点就近接入开通即用。适合谁以低敏感数据为主、需要快速获得日志与基础控制的团队请求内容会经过厂商节点。8. Prisma AIRS AI Gateway原 Portkey一句话介绍原 Portkey 开源网关加托管控制面2026 年并入 Palo Alto Networks 的 Prisma AIRS 平台。主要能力• 环节 3、6条件路由、负载均衡、自动重试与回退用声明式配置描述• 环节 4精确缓存与语义缓存• 环节 5内置多类护栏• 环节 8完整的请求追踪与审计优势网关本身轻量、配置化程度高可观测能力成熟并入安全平台后可与运行时威胁检测联动。适合谁重视可观测与安全治理的团队新用户需关注收购后的产品与授权路线。9. F5 AI Gateway一句话介绍F5 推出的容器化、可自托管 AI 网关以可插拔的处理器链对请求与响应做检查。主要能力• 环节 3在多个模型端点之间路由与分配流量• 环节 5、7以处理器方式对 Prompt 与响应执行策略检查• 在企业数据中心或私有云容器平台部署• 环节 8调用日志与可观测数据优势与 F5 负载均衡、安全产品协同适合把 AI 流量纳入既有应用交付链路。适合谁已有 F5 体系、在本地运行模型的企业平台团队。四、LLM Gateway自建还是采购如果团队只有一个应用、两三个模型用 LiteLLM 或 New API 跑一个代理足够。当出现以下任意两项时就该认真考虑企业级方案调用方超过五个团队需要把成本分摊到部门有敏感数据需要脱敏有海外调用网关已成为生产业务的单点。到这个阶段自建方案的隐性成本——高可用、审计、升级、安全加固——通常会超过采购成本。写在最后LLM Gateway管理的是TokenLLM Gateway 的复杂度不在转发而在于它要在一个成本未知、时长未知、内容未知的请求上做计量、做安全、做容错。理解了这一点就能看懂各家方案真正的差异不在支持多少个模型而在这 8 个环节上各自做得多深。附数据来源与参考资料OpenTelemetry 生成式 AI 语义规范来源OpenTelemetry 官方文档跨境往返时延参考区间来源本系列技术校验口径各开源网关许可证与架构来源各项目官网与支流科技对比页说明厂商信息为公开资料整理标注厂商口径的数字以书面承诺为准性能数字均为参考值以实测为准。