多模型路由：让每个任务都走最合适的那条链路

为什么需要路由

一个企业里同时在跑的模型往往超过五个：本地小模型处理分类与抽取，私有推理集群跑中等任务，云端大模型兜底复杂推理。如果所有请求都指向同一个端点，要么贵得离谱，要么慢得没法用。

三层路由策略

第一层：规则路由。 命中明确意图（如"查订单状态"）的请求直接走固定模型，零额外开销。

第二层：复杂度打分。 用轻量分类器对输入做复杂度评估，低于阈值的走本地模型。

第三层：兜底与降级。 高复杂度请求走云端大模型；一旦超时或断流，自动降级到次优端点，会话不中断。

实测数据

在一条日均 42 万次调用的业务链路上线三层路由后：

一个容易忽略的细节

路由决策必须记入会话元数据。否则当用户抱怨"刚才那个回答很差"时，你无法定位到底是哪个模型、哪条链路出了问题。