为什么企业部署本地大模型后，仍然需要云端模型？

这是「AI自动化指南」AI Gateway 系列的第三篇。

私有化部署，看起来像是终点

不少企业接入大模型走到一定规模后，都会做同一个决定：把 DeepSeek、Qwen、GLM 这类开源模型部署到自己的 GPU 集群上。理由很直接——数据不出内网，满足合规要求；调用成本从"按 Token 付费"变成"按 GPU 折旧摊销"，规模大了以后更划算；也不用再看供应商的脸色，担心限流、涨价、区域下线。

私有化集群上线之后，一个很自然的想法会冒出来：

以后是不是可以把云端 API 的调用量大幅降下来了？

但实际运行几个月后，大多数团队会发现：公司内的用户对私有化部署的模型避之不及。问题往往出在私有化部署本身的性能不够稳定——请求量稍微一大，就触发限流，或者响应时间明显变慢。公司内的用户体验过一两次这种卡顿之后，会本能地绕开私有化模型，转头继续用回云端 API，私有化部署也就没能起到该起的作用。

私有化部署解决不了的几件事

1. 容量是固定的，业务高峰会把本地集群撑爆

GPU 集群是买断的固定资源，不像公有云那样可以按需秒级扩容。大促、活动上线、某个功能突然出圈，业务量的波峰波谷可能相差好几倍，而本地集群的并发能力是硬上限——一旦打满，只能选择让请求排队，或者干脆拒绝服务。

云端 API 背后是近乎无限、按量付费的算力池，恰好适合承接这种短时、不可预测的峰值。所以更合理的模式不是"私有化 or 云端"二选一，而是私有化承担日常的确定性负载，云端承担超出容量部分的溢出流量。

2. 模型能力有天花板，前沿任务仍然要用"最强模型"

私有化部署的开源模型，无论是参数规模、训练数据，还是后训练（post-training）的精细程度，通常都落后于云端最前沿的闭源模型。这是行业客观现状——开源社区的迭代速度很快，但云端厂商在最顶尖那一档模型上的投入是另一个量级，这不是运维水平能追平的差距。

复杂推理、长文本理解、多模态、高难度代码生成这类任务，私有化的中小模型未必能达到业务要求的准确率。客服问答用本地小模型完全够用，但涉及合同审查、复杂数据分析的 Agent 任务，往往还是要路由到能力更强的云端模型才能保证效果。

3. 硬件维护和故障，是本地集群逃不掉的运维成本

GPU 显卡故障、驱动和推理框架升级、模型版本更新，都需要停机窗口。对企业来说，这意味着即使私有化模型平时完全够用，也需要有一个备用后端，在维护窗口或者突发故障期间接管流量，否则业务就要跟着停摆。

云端 API 天然适合扮演这个"高可用兜底"的角色——它不依赖你自己那台正在检修的服务器。

4. 模型迭代速度极快，自建集群永远追不上"最新"

即使企业自己 fine-tune、跟进开源社区的新版本，云端厂商仍然保持着数月一次的能力跃升节奏。想要"业务始终用得上最先进的模型"，私有化路线天然会慢一拍——想跟进新版本，要走一遍下载权重、评测、灰度上线的流程，周期以周甚至月计；而云端 API 只需要改一下调用的模型参数，就能第一时间用上最新能力。

5. 有些能力，私有化根本没有对应选项

文生图、文生视频、超大规模 Embedding 检索……这些专用能力，很多企业不会也不必自己部署，直接用云端专用模型服务，无论是效果还是综合成本都更划算。

真正的答案：不是二选一，而是混合调度

私有化部署解决的是"日常、确定、数据敏感"的那部分负载；云端模型补的是"峰值、前沿能力、高可用兜底、专用场景"这几块私有化天然覆盖不到的缺口。两者不是替代关系，而是分层协作关系。

但如果把"什么时候该走私有化、什么时候该走云端"这个判断交给每个业务系统自己去做，就会退回到最初"每个业务各自接一遍供应商 SDK"的老问题——只是从"接入多家云厂商"变成了"接入私有化 + 多家云厂商"，接入成本不降反升。

网关是让私有化与云端协同的关键一层

一个更合理的架构，是把私有化集群和云端 API 都接到网关背后，业务系统只认一个模型别名，具体路由到哪个后端由网关决定：

这一层网关具体要做的事情：

• 主 / 备分层路由：请求优先打到私有化集群，一旦触发限流或者健康检查失败，自动 fallback 到云端 API，业务系统调用的始终是同一个模型别名，感知不到后端切换；
• 按任务复杂度路由：简单、高频的任务走私有化小模型，复杂任务或者明确要求高准确率的场景，直接路由到能力更强的云端模型；
• 熔断与自动恢复：GPU 节点维护或故障时自动摘除，流量导向云端兜底，节点恢复健康后自动切回私有化；
• 统一计量与成本归因：不管请求最终落到私有化还是云端，都在网关侧统一记录调用量和 Token 消耗，方便对比两种后端的真实综合成本，而不是凭感觉判断"私有化到底值不值"；
• 数据出境策略前置：哪些请求内容只能留在私有化、哪些可以出网调用云端 API，这条线在网关层强制执行，而不是依赖每个开发者自觉遵守。

ModelPointer 如何解决这个问题

ModelPointer 本身就是按"多后端统一调度"设计的网关，私有化集群和云端 API 在它眼里是同一套路由体系里的不同节点：

• 主 / 备分层路由与熔断：私有化集群作为主层，云端 API 作为备层，容量超出阈值或节点不健康时自动切换，不向客户端返回 429，恢复后自动切回；
• 协议兼容、后端透明：兼容 OpenAI / Anthropic 协议，业务系统只对接网关的统一接口，背后是私有化部署的 vLLM / SGLang 还是云端 API，网关说了算；
• 按 Key + 模型精细限流：可以为不同业务线的私有化容量单独设置限流水位，避免某个业务的突发流量把整个私有化集群打满；
• 完整访问日志：结构化 JSON 日志、Prometheus 指标记录每一次调用最终落在了哪个后端，天然支持私有化 vs 云端的成本和效果对比；
• 两种配置模式：YAML 热重载或数据库配置，切换主 / 备策略、调整路由规则都不需要业务系统重新发布。

结语

私有化部署解决的是"确定性负载"——数据敏感、调用稳定、规模可预测的那部分场景；云端模型补的是"不确定性负荷、能力天花板、可用性兜底"这几块私有化天生解决不了的缺口。

私有化和云端不是谁取代谁的问题，而是谁该负责哪一层负载的问题

网关这一层，正是让私有化集群和云端 API 协同工作、而不是让业务系统在两套供应商体系之间做选择题的关键。

官网：https://modelpointer.com · GitHub：https://github.com/modelpointer/modelpointer

---

关于这个系列

这是"AI Gateway 与企业 AI 基础设施"系列的第三篇。前两篇分别讲了这一层基础设施为什么会出现，以及为什么 API Key 不能直接下发给业务系统：

👉 为什么企业开始需要 AI Gateway？ 👉 企业为什么不能把大模型 API Key 直接发给业务系统？

后面还会继续写这个系列，聊聊按任务复杂度做模型路由、私有化与云端的成本对比这些具体问题。想第一时间收到更新，欢迎关注公众号「AI自动化指南」：