Agent 全栈实战

1.5 Prompt 与 Message:模型看到的不是一句话#

上一节最后留了个问题:

为什么换个会话,模型就不记得你了?

这一节咱们就回答它。

答案可能和你想的不一样:不是模型忘了,是你根本没把历史发过去。

先做一个观察:抓一次真实请求#

打开 DeepSeek 网页版,按 F12,切到 Network(网络)面板。

在聊天框里发一句话,比如:

我叫张三,做 Node.js 开发。

在请求列表里找 completions 这个请求,点开,看 Payload(请求体)。

你会看到类似这样的结构:

json
{
  "chat_session_id": "……",
  "parent_message_id": null,
  "prompt": "我叫张三,做 Node.js 开发。"
}

注意:里面没有历史消息。

只有一句 prompt,加上一个会话 ID、一个父消息 ID。

再发一句:

我叫什么?做什么的?

再看 Payload:

json
{
  "chat_session_id": "……",
  "parent_message_id": 2,
  "prompt": "我叫什么?做什么的?"
}

还是只有当前这一句。

那模型怎么知道我叫张三?

因为服务端拿到了 chat_session_id 和 parent_message_id,自己去数据库里把历史翻出来,拼成完整的消息列表,再发给模型。

前端只负责发“这一句 + 我是谁的儿子”,历史由服务端补。

这就解释了为什么:

  • 同一个会话里,它记得你;
  • 新开会话,parent_message_id 是 null,服务端找不到历史,它就不记得。

记忆不在模型里,在应用侧的数据库里。

三层输入,别混#

很多人把“我输入的话”和“模型收到的话”当成一回事。其实是三层:

层内容谁负责
第一层你在聊天框里敲的那句话你
第二层浏览器发给服务端的请求体前端
第三层服务端拼好、真正发给模型的消息列表后端

咱们自己写 Agent,没有 DeepSeek 那个服务端帮咱们补历史。

所以第三层要咱们自己拼。

这就是 messages 数组的由来。

messages:一份带角色的对话记录#

OpenAI 兼容接口里,消息长这样:

js
const messages = [
  { role: 'system', content: '你是星河零售的退款审核助手。' },
  { role: 'user', content: '订单 A1024 申请退款 3000 元。' },
  { role: 'assistant', content: '订单金额超过 2000 元,需要人工审核。' },
  { role: 'user', content: '为什么要人工审核?' }
]

三个角色,各管一件事:

role是谁作用
system公司给的规矩设定身份、边界、输出格式
user用户说的话本轮请求
assistant模型说过的话历史回答,必须存回去
tool工具返回的结果第三章 Tool Calling 会用到

注意 assistant 这一行。

它是模型自己上一轮说的话,但你必须自己存,下一轮再发回去。

不存会怎样?

模型就“不记得自己刚说过什么”,追问“为什么”的时候,它会重新组织一套理由,甚至前后矛盾。

看代码:一个最小的多轮对话#

代码在:

text
Node/第一章/05-deepseek-message-demo/multi-turn.mjs

开头先建一个全局数组(multi-turn.mjs:4-16):

js
const messages = [
	{
		role: 'system',
		content:
			'你是星河零售公司的退款审核助手。订单金额超过 2000 元时需要人工审核。回答要简洁。'
	}
]

然后每一轮调 sendMessage,它做五件事(multi-turn.mjs:26-160):

第一步,把用户这句话 push 进去(multi-turn.mjs:32-36):

js
messages.push({
	role: 'user',
	content: userContent
})

第二步,打包请求体:

js
{
  model,
  messages,
  stream: false,
  thinking: { type: 'disabled' }
}

第三步,发 HTTP 请求(multi-turn.mjs:92-118):

js
const httpResponse = await fetch('https://api.deepseek.com/chat/completions', {
  method: 'POST',
  headers: {
    Authorization: `Bearer ${process.env.DEEPSEEK_API_KEY}`,
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ ... })
})

第四步,拆包:

js
const content = data.choices[0].message.content
const usage = data.usage

第五步,把模型回答 push 回去(multi-turn.mjs:152-156):

js
messages.push({
	role: 'assistant',
	content
})

第五步是多轮的命门。

少这一步,下一轮请求里只有“用户说过什么”,没有“模型答过什么”,追问就断片。

跑起来看看#

这个脚本需要一个 DEEPSEEK_API_KEY。没有 Key 的时候,它会走一个演示分支(multi-turn.mjs:73-90),用写死的回复冒充模型。

读这类 demo 时,先确认它到底调用没有。 不然你看到的现象,可能只是剧本。

我在一台配置了兼容接口的机器上跑过三轮,记录如下:

轮次发过去几条消息输入 Token模型回答
1257是,需要人工审核(3000 > 2000)
24138是,订单 A1024 超 2000,符合条件
36192依据:超过 2000 元需人工审核

三个数字,值得盯一会儿。

消息数:2 → 4 → 6。

第 1 轮是 system + 本轮 user,2 条。

第 2 轮把上一轮的 user 和 assistant 也带上了,再加本轮 user,4 条。

第 3 轮是前两轮的问答 + 本轮,6 条。

输入 Token:57 → 138 → 192。

历史不是“免费的”。每多一轮,下一轮请求就要多传一份历史,多付一份钱。

这就是“上下文变长 = 变贵”的最直接证据。

一个真实发现:模型会“自作主张”#

课程原脚本第 1 轮的演示回复,写的是“缺少规则,无法判断”。

但我真跑的时候,模型直接答了“需要人工审核”。

为什么?

因为“3000 元退款”这件事,它用常识就能补出“大额退款通常要人工审核”。

这说明两件事:

第一,演示回复是写死的,别当模型行为。

第二,模型会自作主张。你想让它老实说“不知道”,必须在 system 里明确约束,甚至给它“查不到就说查不到”的指令。

这条约束在第二章 RAG 的“拒答”那节会真正用上。

几个容易误解的点#

PS 1:system 只放第一条。

后面再插 system,很多供应商不支持,或者行为不一致。要追加规则,用 user 消息,或者更新第一条 system。

PS 2:历史无限增长,账单也无限增长。

真实产品必须裁剪、摘要,或者只保留最近 N 轮。这就是下一节“上下文预算”要解决的。

PS 3:不同家的字段不完全一样。

DeepSeek 有 thinking 开关,OpenAI 用 reasoning_effort,有些厂商用 enable_thinking。写兼容层时,这块要按供应商分支。

总结#

这一节咱们搞清了三件事:

  • 模型是无状态的,它不保存任何会话;
  • 多轮对话靠 messages 数组,每轮把历史重新发一遍;
  • assistant 消息必须自己存回去,否则追问断片。

所以“记忆”是应用层的事,不是模型的事。

下一节,咱们看这份历史长了以后会撞上的那堵墙:上下文窗口。以及撞墙之前,怎么按预算裁剪。