Rise Router:统一大模型 Token 入口
一个端点 · 按需分流 · 全链路统一治理 — 本地推理 + 外部渠道统一接入,Token 账单与策略一处可见
产品概述
核心能力
统一 OpenAI 兼容入口
业务侧统一 OpenAI 兼容端点,屏蔽本地推理与外部渠道的协议差异,HTTP/HTTPS 双端口同时服务。
内外分流智能路由
支持多维度自动分流,覆盖国产大模型、公有云 MaaS、聚合平台,以及企业自建的 new-api、one-api、sub2api 等开源 OpenAI 兼容网关;可与企业数据分级、大模型围栏组件协同;虚拟 ModelName 业务无感切换,故障自动降级 + 多 Key / 多地域负载均衡。
API Key 与策略集中托管
上游厂商 Key 与 ModelX 内部凭证统一托管,租户 / 项目 / 用户多维授权,配套 Key 轮转、IP 白名单、限频限次等访问策略。
双轨 Token 计量(GPU + API)
本地 GPU 时长 + 外部 Token 计费并轨,按租户 / 项目 / 业务线 / API Key 多维归因,同一套 FinOps 看板。
预算控制与防失控
租户 / 业务线预算硬上限触发自动降级或阻断;成本异常告警、闲时调度、限频限次多层防护。
出站合规审计
全链路日志覆盖内外流量,含 PII 拦截、敏感词过滤、多模态出站审计;配合企业数据分级与大模型围栏策略,满足金融 / 央企合规要求。
Rise Router 架构
统一 LLM 入口 · 内外分流 · 渠道聚合 · Key 托管 · 双轨计量 · 合规审计
Access Layer
经 AI 网关分流
Plugin Extensions
·
·
·
·
Routing Targets
路由目标
▸ Internal 内部推理
▸ External 外部渠道
产品价值
一个端点收敛所有 LLM 集成
业务代码不必为本地推理和外部渠道分别对接两套 API、两套 Key、两套计量。集成复杂度从 N 条线路降到 1 条,上线速度提高,治理失控的表面积缩小。
内外 Token 账单一口径
Rise ModelX 的 GPU 时长计费与外部 API Token 计费在同一套 FinOps 看板呈现,按租户/项目/业务线多维归因。财务无需再区分内外,预算硬上限和成本异常告警对所有 LLM 流量生效。
按场景弹性分流
本地稳态与低延迟保障的流量在 Rise ModelX 推理;峰值或需要外部模型能力的流量通过 Router 路由到外部受管渠道;敏感度判定与分级策略可与企业数据分级 / 大模型围栏组件协同编排,本地满负荷时 Router 自动承接溢出,避免反复扩建硬件。
Router 可路由的通道类型
| 通道类型 | 典型代表 | 适用场景 |
|---|---|---|
| 本地推理(Rise ModelX) | vLLM / SGLang / MindIE 等 | 稳态流量、低延迟保障;数据需在企业信创 GPU 内推理的业务 |
| 国产大模型 | DeepSeek / Qwen / XC-LLM / 智谱 / 讯飞 / Kimi / MiniMax | 合规友好的首选,国产主流厂商覆盖广泛 |
| 公有云 MaaS | 百炼 / 千帆 / TI / MA | 国内云厂商的托管模型服务,商务合规路径清晰 |
| 模型聚合平台 | 硅基流动 / 火山方舟 | 多厂商聚合入口,快速试用与切换 |
| 企业自建开源 LLM 网关 | new-api / one-api / sub2api | 已部署开源聚合网关的企业平滑接入,复用既有 Key 与渠道配置 |
| 国外模型 | OpenAI / Anthropic / Google | 部分业务确有需要时按需接入 |
| 企业自选 BYOC | 客户指定上游 | 将客户已有的第三方 API Key 托管进 Router 统一治理 |
应用场景
按敏感度与场景一体化路由
Router 与企业数据分级、大模型围栏组件协同,敏感请求路由到本地 Rise ModelX 推理,其他流量按成本 / 能力受控外放;本地满负荷自动溢出,故障自动降级;出站全程留痕,满足金融 / 证券等高合规场景的监管审计要求。
内外 Token 账单统一归口
本地 GPU 时长 + 外部 Token 计费在同一套 FinOps 看板,按租户 / 项目 / 业务线多维归因,月度账单自动出,财务无需区分内外口径。
Agent 统一调用大模型能力
Agent / Copilot / RAG 通过 Router 调用本地与外部模型,MCP / Function Call / JSON Mode / 流式 SSE 全兼容;限频限次 + 预算硬上限防失控;多模态全覆盖。
多渠道灰度与模型择优
同一业务挂多家上游渠道,按流量比例灰度切换,效果指标与 Token 成本同台回收;支撑国产化迁移期新老双写对比,业务基于线上真实数据做模型选型。
接入流程
注册推理后端
本地 Rise ModelX 自动发现;外部渠道上传 API Key、配限速与健康检查。
配置路由策略
设置虚拟 ModelName 与分流规则(敏感度/成本/能力),支持灰度与降级。
绑定租户与预算
按租户/项目设 Token 预算上限、合规标签与访问策略。
统一 API 调用与账单
业务经统一端点调用,Router 自动路由、计量、审计并出双轨账单。