灵果 灵果
治理

策略 路由

按用户、地域、数据级别、预算或应用自定义信号决定「哪个请求由哪个模型服务」。配置以声明式 YAML 形式存在,可被安全与法务团队像审查其它配置一样审阅。

YAML 即代码 40+ 路由信号 热加载,秒级生效 变更前可仿真
YAML
策略以代码形式存在版本控制系统
40+
可用于路由决策的输入信号
< 8ms
策略评估 P50 附加时延
0
添加新规则不需要改代码

「Kimi 处理客服、DeepSeek 处理代码、
含敏感信息走 VPC 自托管」——写在 if-else 里?

业务跑到一定规模都会长出同样一团:模型选择散落在各个服务里、提供方 ID 直接硬编码在环境变量、安全例外靠 commit message 解释。加一个新模型要发版,加一条新规则要开会。

策略路由把这些决策收回到一份声明式配置——安全团队能直接读,平台团队不用重新发布业务就能上线。

几十种输入,一次决策

用户

身份与组织

工作区、团队、成本中心、RBAC 角色、套餐等级。VIP 客户走质量优先模型;沙箱流量走成本优先。

数据

内容分级

PII 检测、代码识别、语种、token 数、应用自带的数据分级 header。按级别选择阻断、脱敏或降级到本地化模型。

地域

地理与数据驻留

调用方 IP、声明的区域、数据驻留承诺。境内用户只命中境内提供方;私有化流量保留在 VPC 内。

成本

预算状态

当月已用、月内时间、团队剩余预算。预算用到 80% 自动降级到便宜模型,95% 触发告警。

时间

调度

工作时间、值班轮转、发布冻结期。工作时间质量优先;夜间批处理任务成本优先。

自定义

应用信号

业务发送的任意 header——功能开关、实验分组、客户等级——灵果 都可作为路由输入透传。

一份受合规约束团队的策略文件

含 PII 的流量只能走 VPC 内开源模型;境内流量留在境内提供方;其余进入质量优先链路。

# policies/finance-team.yaml name: finance-team applies_to: workspace:finance rules: - if: content.contains_pii == true route: private-vpc/qwen3-72b on_redaction_fail: block - if: request.region == "cn" route: domestic/deepseek-v3 residency: cn-only - if: budget.remaining_pct < 20 route: smart/cheap notify: [feishu:#finance-platform] - default: smart/balanced audit: log_inputs: [user, team, region, pii_detected] retention_days: 365

策略住在 Git 仓库里,
不住在运行时里

→ 01

编辑

策略是 Git 仓库里的 YAML 文件。像其他配置一样用 diff 审查。

→ 02

评审

提 PR。安全 / 法务签字。CI 按 schema 校验语法,并在仿真器中验证。

→ 03

仿真

用过去 24 小时的真实流量回放新策略。看看哪些请求会被路由到不同地方。

→ 04

发布

合并即生效。灵果 在 5 秒内热加载所有策略,业务无需重新发布。

在真实流量上验证贵司策略

30 分钟解决方案演示——我们把贵司的策略写成 YAML,现场放到真实流量上回放。