1.8 模型选择:不是所有任务都值得上最贵的模型#
上一节咱们说,结论用代码算,表达才交给模型。
那“表达”这件事,用哪个模型?
很多人一套代码里只写一个模型名,所有请求都打过去。
简单任务用贵模型,慢、贵、没必要;复杂任务用便宜模型,答不对、还得多轮重试。
这一节,咱们用一个“模型路由”的 demo,把选择这件事拆成可执行的规则。
先看同一个场景里的四种任务#
还是退款场景。用户可能说四种话:
- “帮我写一句回复客户的话。”——事实已经清楚,只要表达。
- “订单 A1024 金额 3000,超过 2000 了吗?”——确定性判断。
- “客户买了三门课,退了一门,又用了优惠券,按规则该退多少?”——多条件推理。
- “这是客户发来的破损照片,符合退款条件吗?”——要看图。
这四件事,不该走同一条路。
代码在:
Node/第一章/08-model-router-demo/四个文件,各管一段:
task-profiler.js:给任务做体检;model-router.js:路线表 + 决策;deepseek-client.js:真正发请求;demo.js:把四个任务串起来。
跑起来:
node demo.js我这边跑出来的路线:
| 任务 | 路线 | 所在层 | 为什么 |
|---|---|---|---|
| rewrite-reply | normal_text | 表达层 | 事实已明确,只需改写 |
| amount-check | deterministic_code | 业务逻辑层 | 命中确定性规则,根本不调模型 |
| policy-analysis | reasoning_text | 分析层 | 多条规则要分析 |
| photo-check | vision_plan | 感知层 | 有图片,先识别 |
真实调用数据:
- rewrite-reply:1320ms,92 Token;
- amount-check:0 次模型调用,纯代码输出;
- policy-analysis:4809ms,303 Token。
同样一个退款场景:简单改写 1.3 秒,复杂分析 4.8 秒,规则判断 0 秒。
这就是路由的价值:不是“用最好的模型”,是“用刚好的模型”。
第一步:给任务做体检#
task-profiler.js 没有调模型,纯关键词规则(task-profiler.js:4-45):
function profileTask(task) {
const text = task.text
const hasOrder = Boolean(task.orderId)
const hasImage = Boolean(task.imageUrl)
const asksAmountCheck =
text.includes('超过') && text.includes('阈值')
const mentionsPolicy =
text.includes('规则') || text.includes('条款')
const deterministicRuleMatched = asksAmountCheck && hasOrder
return {
hasImage,
hasOrder,
deterministicRuleMatched,
reasoningComplexity: mentionsPolicy ? 'high' : 'low'
}
}很简陋,对不对?
但它有三个优点:便宜、可解释、可测试。
线上很多路由的第一版,就是这么写的。先跑起来,再换成分类模型。
第二步:查路线表#
model-router.js:2-30:
const routes = {
normalText: {
name: 'normal_text',
layer: '表达层',
model: 'deepseek-v4-flash',
thinking: { type: 'disabled' }
},
reasoningText: {
name: 'reasoning_text',
layer: '分析层',
model: 'deepseek-v4-pro',
thinking: { type: 'enabled' },
reasoning_effort: 'high'
},
deterministicCode: {
name: 'deterministic_code',
layer: '业务逻辑层',
model: null
},
visionPlan: {
name: 'vision_plan',
layer: '感知层',
model: 'vision-capable-model'
}
}四类路线,对应四个“层”:
- 表达层:把结构化结果说成人话;
- 分析层:多条件推理,开 thinking;
- 业务逻辑层:不调模型,纯代码;
- 感知层:先识别图片,再进流程。
路由不只选模型,还选“执行计划”。
第三步:决策顺序,就是优先级#
model-router.js:42-60:
function routeTask(profile) {
if (profile.hasImage) {
return routes.visionPlan
}
if (profile.deterministicRuleMatched) {
return routes.deterministicCode
}
if (profile.reasoningComplexity === 'high') {
return routes.reasoningText
}
return routes.normalText
}这个顺序值得背下来:
代码 > 多模态 > 推理 > 普通文本翻译一下:
- 能不用模型就不用(确定性代码);
- 必须用模型,有图的先识别;
- 复杂推理才上推理模型;
- 其余默认便宜模型。
为什么“代码”排第一?
因为代码最快、最便宜、最可测。
一个 if 能解决的事,调模型是浪费。
第四步:每类路线配执行计划#
model-router.js:62-101 的 buildExecutionPlan 返回一个步骤数组。
比如多模态:
[
'读取图片',
'识别图片内容',
'转成结构化字段',
'进入规则判断'
]比如确定性代码:
[
'查询订单',
'比较阈值',
'生成权威结果'
]路由的输出不是“一个模型名”,是“一条流程”。
这一点在设计 Agent 时很重要:不同任务,不只是模型不同,工具链也不同。
两个真实的坑#
这两个坑,比代码本身值钱。
坑 1:路由到不存在的模型 → 503。
Error: DeepSeek 调用失败:503 {"error":{"code":"model_not_found",
"message":"No available channel for model deepseek-v4-flash ..."}}我用的接口上没有 deepseek-v4-* 这两个模型,改了模型名才跑通。
真实项目里,路由表必须能感知“这个模型当前不可用”。
否则用户一提问,直接 503。
坑 2:连续调同一个模型 → 429。
429 {"error":{"message":"You have exceeded your current request limit",
"type":"limit_requests"}}同一个模型连续调,直接被限流。
所以路由必须带 fallback / 重试 / 降级。
一个 429 就把整条业务打挂,这不叫路由,叫单点。
到底怎么选模型#
把上面这些收一收,选模型看八个维度:
| 维度 | 要问的问题 |
|---|---|
| 能力 | 这个任务需不需要推理、代码、长文? |
| 上下文窗口 | 输入 + 输出够不够? |
| 价格 | 输入/输出分别多少钱?缓存有没有折扣? |
| 延迟 | 首字多快?整段多快? |
| 多模态 | 要不要读图、读音频、读 PDF? |
| 工具调用 | 支不支持 function calling?稳定吗? |
| 稳定性 | 限流严不严?高峰期会不会 503? |
| 合规 | 数据能不能出境?有没有私有化部署? |
实际决策,通常是这样的顺序:
- 先排除:不满足合规、不支持工具调用的,直接去掉;
- 再压成本:能用小模型的任务,先用小模型跑评测;
- 最后看体验:延迟能不能接受,答错率高不高。
不要一上来就选最强的。 先用便宜模型跑一遍评测集,看准确率差多少,再决定要不要升级。
一个成本账的例子#
假设你有 10 万次调用/月:
- 每次输入 2000 Token,输出 500 Token;
- 便宜模型:输入 1 元/百万 Token,输出 4 元/百万 Token;
- 贵模型:输入 4 元/百万 Token,输出 16 元/百万 Token。
便宜模型:
输入:10万 × 2000 × 1 / 100万 = 200 元
输出:10万 × 500 × 4 / 100万 = 200 元
合计:400 元/月贵模型:
输入:800 元
输出:800 元
合计:1600 元/月差 4 倍。
如果 80% 的任务是简单改写,走便宜模型,只有 20% 走贵模型,月成本大概:
400 × 0.8 + 1600 × 0.2 = 640 元比全走贵模型省 60%。
这就是路由的经济意义。
几个容易误解的点#
PS 1:关键词体检很脆。
用户说“金额有没有过线”,没说“阈值”,就命不中确定性路线,白花一次模型调用。
生产里要配日志,定期看“命不中”的样本,补关键词或换分类器。
PS 2:vision_plan 只是计划。
DeepSeek 的文本接口不处理图片,这个 demo 只打印步骤,没有真的识别。要真做,得接多模态模型,或者用 OCR 先转文字。
PS 3:没有失败分支的路由,等于没有路由。
callDeepSeek 出错直接 throw,没有降级。练习里咱们补上。
总结#
这一节咱们把“选模型”拆成了四步:
- 先给任务做体检(有没有图、能不能代码算、要不要推理);
- 再按优先级选路线(代码 > 多模态 > 推理 > 普通);
- 每条路线配执行计划,不只换模型,还换流程;
- 路由必须带限流、重试、降级。
记住一句话:不是所有任务都值得上最贵的模型。
下一节,咱们回到模型内部,看看它到底是怎么“注意”到上下文中相关部分的。也就是 Transformer 里的 Attention。