Agent 全栈实战

1.8 模型选择:不是所有任务都值得上最贵的模型#

上一节咱们说,结论用代码算,表达才交给模型。

那“表达”这件事,用哪个模型?

很多人一套代码里只写一个模型名,所有请求都打过去。

简单任务用贵模型,慢、贵、没必要;复杂任务用便宜模型,答不对、还得多轮重试。

这一节,咱们用一个“模型路由”的 demo,把选择这件事拆成可执行的规则。

先看同一个场景里的四种任务#

还是退款场景。用户可能说四种话:

  1. “帮我写一句回复客户的话。”——事实已经清楚,只要表达。
  2. “订单 A1024 金额 3000,超过 2000 了吗?”——确定性判断。
  3. “客户买了三门课,退了一门,又用了优惠券,按规则该退多少?”——多条件推理。
  4. “这是客户发来的破损照片,符合退款条件吗?”——要看图。

这四件事,不该走同一条路。

代码在:

text
Node/第一章/08-model-router-demo/

四个文件,各管一段:

  • task-profiler.js:给任务做体检;
  • model-router.js:路线表 + 决策;
  • deepseek-client.js:真正发请求;
  • demo.js:把四个任务串起来。

跑起来:

bash
node demo.js

我这边跑出来的路线:

任务路线所在层为什么
rewrite-replynormal_text表达层事实已明确,只需改写
amount-checkdeterministic_code业务逻辑层命中确定性规则,根本不调模型
policy-analysisreasoning_text分析层多条规则要分析
photo-checkvision_plan感知层有图片,先识别

真实调用数据:

  • rewrite-reply:1320ms,92 Token;
  • amount-check:0 次模型调用,纯代码输出;
  • policy-analysis:4809ms,303 Token。

同样一个退款场景:简单改写 1.3 秒,复杂分析 4.8 秒,规则判断 0 秒。

这就是路由的价值:不是“用最好的模型”,是“用刚好的模型”。

第一步:给任务做体检#

task-profiler.js 没有调模型,纯关键词规则(task-profiler.js:4-45):

js
function profileTask(task) {
	const text = task.text
	const hasOrder = Boolean(task.orderId)
	const hasImage = Boolean(task.imageUrl)

	const asksAmountCheck =
		text.includes('超过') && text.includes('阈值')

	const mentionsPolicy =
		text.includes('规则') || text.includes('条款')

	const deterministicRuleMatched = asksAmountCheck && hasOrder

	return {
		hasImage,
		hasOrder,
		deterministicRuleMatched,
		reasoningComplexity: mentionsPolicy ? 'high' : 'low'
	}
}

很简陋,对不对?

但它有三个优点:便宜、可解释、可测试。

线上很多路由的第一版,就是这么写的。先跑起来,再换成分类模型。

第二步:查路线表#

model-router.js:2-30:

js
const routes = {
	normalText: {
		name: 'normal_text',
		layer: '表达层',
		model: 'deepseek-v4-flash',
		thinking: { type: 'disabled' }
	},
	reasoningText: {
		name: 'reasoning_text',
		layer: '分析层',
		model: 'deepseek-v4-pro',
		thinking: { type: 'enabled' },
		reasoning_effort: 'high'
	},
	deterministicCode: {
		name: 'deterministic_code',
		layer: '业务逻辑层',
		model: null
	},
	visionPlan: {
		name: 'vision_plan',
		layer: '感知层',
		model: 'vision-capable-model'
	}
}

四类路线,对应四个“层”:

  • 表达层:把结构化结果说成人话;
  • 分析层:多条件推理,开 thinking;
  • 业务逻辑层:不调模型,纯代码;
  • 感知层:先识别图片,再进流程。

路由不只选模型,还选“执行计划”。

第三步:决策顺序,就是优先级#

model-router.js:42-60:

js
function routeTask(profile) {
	if (profile.hasImage) {
		return routes.visionPlan
	}

	if (profile.deterministicRuleMatched) {
		return routes.deterministicCode
	}

	if (profile.reasoningComplexity === 'high') {
		return routes.reasoningText
	}

	return routes.normalText
}

这个顺序值得背下来:

text
代码 > 多模态 > 推理 > 普通文本

翻译一下:

  1. 能不用模型就不用(确定性代码);
  2. 必须用模型,有图的先识别;
  3. 复杂推理才上推理模型;
  4. 其余默认便宜模型。

为什么“代码”排第一?

因为代码最快、最便宜、最可测。

一个 if 能解决的事,调模型是浪费。

第四步:每类路线配执行计划#

model-router.js:62-101 的 buildExecutionPlan 返回一个步骤数组。

比如多模态:

js
[
  '读取图片',
  '识别图片内容',
  '转成结构化字段',
  '进入规则判断'
]

比如确定性代码:

js
[
  '查询订单',
  '比较阈值',
  '生成权威结果'
]

路由的输出不是“一个模型名”,是“一条流程”。

这一点在设计 Agent 时很重要:不同任务,不只是模型不同,工具链也不同。

两个真实的坑#

这两个坑,比代码本身值钱。

坑 1:路由到不存在的模型 → 503。

text
Error: DeepSeek 调用失败:503 {"error":{"code":"model_not_found",
"message":"No available channel for model deepseek-v4-flash ..."}}

我用的接口上没有 deepseek-v4-* 这两个模型,改了模型名才跑通。

真实项目里,路由表必须能感知“这个模型当前不可用”。

否则用户一提问,直接 503。

坑 2:连续调同一个模型 → 429。

text
429 {"error":{"message":"You have exceeded your current request limit",
"type":"limit_requests"}}

同一个模型连续调,直接被限流。

所以路由必须带 fallback / 重试 / 降级。

一个 429 就把整条业务打挂,这不叫路由,叫单点。

到底怎么选模型#

把上面这些收一收,选模型看八个维度:

维度要问的问题
能力这个任务需不需要推理、代码、长文?
上下文窗口输入 + 输出够不够?
价格输入/输出分别多少钱?缓存有没有折扣?
延迟首字多快?整段多快?
多模态要不要读图、读音频、读 PDF?
工具调用支不支持 function calling?稳定吗?
稳定性限流严不严?高峰期会不会 503?
合规数据能不能出境?有没有私有化部署?

实际决策,通常是这样的顺序:

  1. 先排除:不满足合规、不支持工具调用的,直接去掉;
  2. 再压成本:能用小模型的任务,先用小模型跑评测;
  3. 最后看体验:延迟能不能接受,答错率高不高。

不要一上来就选最强的。 先用便宜模型跑一遍评测集,看准确率差多少,再决定要不要升级。

一个成本账的例子#

假设你有 10 万次调用/月:

  • 每次输入 2000 Token,输出 500 Token;
  • 便宜模型:输入 1 元/百万 Token,输出 4 元/百万 Token;
  • 贵模型:输入 4 元/百万 Token,输出 16 元/百万 Token。

便宜模型:

text
输入:10万 × 2000 × 1 / 100万 = 200 元
输出:10万 × 500 × 4 / 100万 = 200 元
合计:400 元/月

贵模型:

text
输入:800 元
输出:800 元
合计:1600 元/月

差 4 倍。

如果 80% 的任务是简单改写,走便宜模型,只有 20% 走贵模型,月成本大概:

text
400 × 0.8 + 1600 × 0.2 = 640 元

比全走贵模型省 60%。

这就是路由的经济意义。

几个容易误解的点#

PS 1:关键词体检很脆。

用户说“金额有没有过线”,没说“阈值”,就命不中确定性路线,白花一次模型调用。

生产里要配日志,定期看“命不中”的样本,补关键词或换分类器。

PS 2:vision_plan 只是计划。

DeepSeek 的文本接口不处理图片,这个 demo 只打印步骤,没有真的识别。要真做,得接多模态模型,或者用 OCR 先转文字。

PS 3:没有失败分支的路由,等于没有路由。

callDeepSeek 出错直接 throw,没有降级。练习里咱们补上。

总结#

这一节咱们把“选模型”拆成了四步:

  • 先给任务做体检(有没有图、能不能代码算、要不要推理);
  • 再按优先级选路线(代码 > 多模态 > 推理 > 普通);
  • 每条路线配执行计划,不只换模型,还换流程;
  • 路由必须带限流、重试、降级。

记住一句话:不是所有任务都值得上最贵的模型。

下一节,咱们回到模型内部,看看它到底是怎么“注意”到上下文中相关部分的。也就是 Transformer 里的 Attention。