灵果 把 DeepSeek、通义千问、智谱 GLM、Kimi、混元、MiniMax、百川、Yi 与开源权重模型,整合在一套 OpenAI 兼容 API 之下——内置多模型路由、故障切换、预算与限流、审计与权限。数据可不出境,支持私有化与专有云部署。
某个模型服务限流、抖动或长尾响应时,正在进行中的请求自动切到备用模型,保持流式输出不中断。预设主备链:DeepSeek → Qwen3 → 开源自托管。
按租户、数据级别、地域、成本上限路由到合适的模型。YAML 形式可被法务和安全团队评审,热加载生效,无需重新部署。
每个团队、应用、Agent 都能设置硬上限与软告警。失控的循环调用在烧钱之前被拦住,财务看到的是分摊到成本中心的明细。
OIDC / SAML / 钉钉 / 飞书 / 企业微信 单点登录。RBAC、短期密钥、可签名的请求审计日志——每一次调用都可还原。
"我们用一份 灵果 配置文件,替换掉了 三套模型对接代码与一个手写的兜底链路。"