灵果 灵果
常见问题

疑问,解答

⌘K

快速上手

灵果 是什么?

灵果 是面向中国企业的大模型控制平面,位于业务应用与各家模型服务之间。一套 OpenAI 兼容 API 接入 DeepSeek、通义千问、智谱 GLM、Kimi、豆包、MiniMax、100+ 全球提供方以及开源权重模型,内置故障切换、策略路由、预算限流与审计。

可以把它理解为 AI 流量的「治理、监控、IAM」统一层。

集成需要多久?

若业务已经使用 OpenAI 兼容 SDK,集成只需改一行:把 base_url 改成 https://platform.routero.dcsmartvision.com/v1。多数团队 10 分钟内就能跑通第一个路由请求。

需要改提示词(prompt)吗?

不需要。灵果 透传所有 prompt。你可以调用自定义的路由别名让 灵果 决定使用哪个模型,也可以直接指定 deepseek-v4qwen3-maxglm-5

支持哪些模型?

国产闭源:DeepSeek(V4)、通义千问(Qwen3 / Max / Coder)、智谱 GLM(GLM-5 / 5.2)、Kimi(K3 / K2.6)、豆包(Doubao-Seed)、MiniMax(M3 / M2.5)。此外还可接入 100+ 全球提供方。

开源权重 / 自托管:Qwen 开源系列、DeepSeek 开源、ChatGLM 开源、PPIO 云算力(54+ 开源模型托管),以及任何 OpenAI 兼容端点(vLLM、Ollama、TGI、SGLang)。

不绑定支付方式能试用吗?

可以。试用版包含每月 100 万 tokens,无需信用卡。可使用 灵果 统一开票(按各模型官方价 1:1 转付)或自带 API Key(BYOK)。

路由与模型

故障切换是怎么工作的?

每条路由有一组有序的「提供方 + 模型」候选。主选失败(超时、5xx、限流、健康检查降级)时,灵果 自动重试下一个候选。业务端只看到一次成功响应。流式请求在输出开始前失败同样自动切换。

有哪些智能路由策略?

路由可按成本优先、时延优先、负载均衡等多种策略选择模型,综合健康度、近期错误率与冷却状态打分;也支持按语义自动选择模型。你可以为业务定义任意的路由别名(如 customer-support)挂载这些策略。

能做 A/B 模型实验吗?

可以。定义一条带流量分配的路由(例:70% DeepSeek-V4,30% Qwen3-Max)。灵果 会在每次请求上标注实际命中的提供方,并写入审计日志,可以喂给实验平台做归因。

支持流式(SSE)吗?

支持。Server-Sent Events 直通转发,无缓冲。工具调用(function calling)、视觉、JSON 模式、结构化输出均原样透传。

除了对话,还能代理哪些端点?

同一套 API 下还统一暴露 embeddings、rerank、图像生成、语音、文件与批处理(batches)等端点;网关同时支持 MCP(Model Context Protocol)与 A2A Agent 端点,Agent 流量与模型流量在同一控制平面内治理。另支持响应缓存与语义缓存,命中即可显著降低 token 成本。

灵果 会增加多少时延?

路由决策本身 P99 < 50ms,P50 实际增加约 8–12ms。灵果 节点与模型服务节点同区域部署,跨区开销很小。

能按区域路由以满足数据驻留要求吗?

SaaS 境内节点的请求与日志全部驻留境内,且只对接境内提供方;私有化部署的模型只在贵司 VPC 内被调用。结合 PII 识别与脱敏,可以为合规评审提供支撑材料。请注意:本页不构成具体法律意见,最终合规结论以贵司法律团队审阅为准。

安全与合规

有哪些安全认证?

面向中国市场的合规认证(如等保 2.0、ISO 27001)正在推进中。具体认证范围与时间表,请联系销售索取最新版安全白皮书。本页不构成对任何特定认证的承诺。

会用我们的数据做训练吗?

不会。灵果 不会用、不保留、不转售贵司的 prompt 或响应内容。请求载荷仅在内存中处理并丢弃,仅元数据(token 计数、时延、决策记录)会持久化用于审计与计费。

SSO 是如何对接的?

成长版起支持 OIDC 单点登录,兼容 Microsoft Entra、Google Workspace 及任何 OIDC 协议 IdP(Okta、Auth0、Keycloak、自建)。SCIM 用户自动同步即将上线。

审计日志里有什么?

每一次路由决策的完整记录:调用方身份、请求的路由、触发的策略校验、命中的提供方、考虑过的候选、时延、token 用量,以及请求关联 ID。可导出至 Datadog、Azure Sentinel,或经 OpenTelemetry 对接 ELK、Loki、SLS 等日志平台。

能在我们自己的 VPC / 内网部署吗?

可以。企业版支持 VPC 内部署、本地数据中心与离线环境,提供 Docker Compose 与容器化交付。国产 OS / CPU(统信 UOS、麒麟、鲲鹏、海光)兼容性适配计划中,请联系销售索取最新兼容矩阵。

计费与定价

模型 Token 怎么计费?

两种方式可以按工作区混搭:

1. 使用 灵果 统一开票。我们打通各家模型服务的接入,按各模型官方价 1:1 转付,单张人民币(RMB)发票。我们不在模型费用上加价——所有金额可与提供方公开价目对账。

2. 自带 API Key(BYOK)。贵司与模型厂商的原合同与发票不变,只向 灵果 支付控制平面订阅费用。

多数团队先用统一开票快速跑通,再把已与特定厂商签了企业价的部分迁到 BYOK。

灵果 会加价吗?

不会。使用统一开票时,token 成本按各厂商官方价 1:1 透传——每一元都可以与公开价目对账。灵果 的收入来自控制平面订阅(路由、治理、审计、预算)。

什么算「一次路由请求」?

一次到达 灵果 并被路由的入站 API 调用。失败重试到备用模型的内部调用不重复计数。流式输出无论返回多少 token,仍按一次请求计数。

有年付优惠吗?

有。成长版与企业版年付享 8 折,多年签约可进一步优惠。

成本分摊(chargeback)怎么实现?

给每次请求打上成本中心标签(团队、项目、客户 ID)。分摊看板会把 token 与提供方费用按标签汇总,可导出 CSV 或推到企业财务系统。

部署与私有化

灵果 部署在哪里?

公有云 SaaS 默认部署在境内多可用区,请求与日志全部驻留境内。企业版可指定区域或独立集群。

能接入我们自有的模型吗?

可以。任何 OpenAI 兼容端点(vLLM、Ollama、TGI、SGLang、自研推理服务)都可以注册为提供方,按一等公民方式参与路由。

如果 灵果 故障了会怎样?

SaaS 默认多可用区部署,网关无状态、可横向扩缩;提供方健康检查会自动摘除异常节点。客户侧仍使用标准 OpenAI SDK——如需极端场景下的兜底,也可为关键业务保留提供方原生的直连配置作为逃生通道。

没找到想要的答案?

预约 30 分钟解决方案演示,技术问题现场解答。

预约演示