AI 网关
统一 API、智能路由、协议桥接 — 企业级模型服务的统一入口
产品概述
核心能力
OpenAI 兼容统一 API
通过 WasmPlugin 将 vLLM、SGLang、MindIE 等多引擎统一适配为 OpenAI 兼容接口。McpBridge DNS 自动注册推理端点，HTTP/HTTPS 双端口同时服务，业务侧无需关心底层引擎差异。
智能路由与故障转移
虚拟化 ModelName 让模型渠道切换对业务完全无感知。支持多渠道负载比例分配与主备策略，可按上下文长度、请求头、请求内容自定义路由规则。故障时自动切换至备用渠道，API 参数保持不变。
MCP 协议桥接
McpBridge 原生支持 MCP（Model Context Protocol）协议转换，推理端点 DNS 自动注册。连接企业 ERP、CRM 等业务系统，为 Agent 时代的 AI 应用提供标准化工具调用接口。
Token 级计量计费
ai-statistics 插件按 prompt/completion token 精细计量，支持租户、项目、API Key 多维度粒度。Top-N 用量分析（按系统/模型/工作空间）、时间线聚合与成本异常告警，实现 AI FinOps 精细化治理。
全链路可观测
每条请求记录完整链路日志——各节点输入输出、Token 数、延迟，支持流式内容回放与合并视图。API 链路状态实时监测，异常时自动报警。Prometheus 指标采集与 Grafana 仪表盘集成。
安全防护与访问控制
API Key 生成与管理，支持多 Key 多模型权限绑定与管理员全局管控。Token 鉴权、IP 黑白名单、PII 拦截、敏感词过滤，按时间计划与限频限次灵活配置访问策略，确保多租户隔离安全。
路由策略一览
| 策略 | 触发条件 | 典型场景 |
|---|---|---|
| 虚拟 ModelName | 请求中指定虚拟模型名称 | 模型渠道无感切换，A/B 测试 |
| 上下文长度路由 | 请求 token 数超过阈值 | 长文本自动分发至大上下文窗口模型 |
| 请求头路由 | 自定义 Header 字段匹配 | 多租户流量隔离，灰度发布 |
| 请求内容路由 | 请求 body 关键字/字段匹配 | 按业务场景分流至专用模型 |
| 主备策略 | 主渠道故障或超时 | 高可用容灾，自动故障转移 |
| 比例分配 | 按权重百分比分发 | 多渠道负载均衡，流量灰度切换 |
接入流程
注册模型端点
McpBridge DNS 自动发现推理服务，或手动注册外部模型 API 端点
配置路由规则
设置虚拟 ModelName、负载比例、主备策略及自定义路由条件
统一 API 服务
业务侧通过统一 OpenAI 兼容 API 调用，网关自动路由至目标引擎
监控与计费
全链路日志与 Token 计量实时采集，用量看板与成本告警自动生成