Agent 全栈实战

1.4 Token 到底是什么#

上一节咱们说,模型是一个 Token 一个 Token 地生成。

那 Token 到底是什么?

是“字”吗?是“词”吗?

都不是。

这一节,咱们把“模型眼里的文字”拆开看。看完你就明白两件事:为什么中文按 Token 计费会偏贵,为什么同一个问题换个写法,账单能差一截。

先看一个反直觉的现象#

下面三句话,意思差不多,你猜哪句 Token 最多?

text
Agent 开发
Agentic 开发
退款金额超过,需要人工审核。

直觉上,第一句最短,应该最省。

但真实分词器给出的结果,往往不是按“字数”排的。

咱们先跑一个本地脚本,它实现了一个极简的分词器:

bash
cd Agent--Code/Node/第一章/04-token-demo
node toy-tokenizer.mjs

真实输出:

text
原始内容:Agent 开发
切分结果: [ 'Agent', ' ', '开发' ]
Token 数量:3

原始内容:Agentic 开发
切分结果: [ 'Agent', 'ic', ' ', '开发' ]
Token 数量:4

原始内容:退款金额超过,需要人工审核。
切分结果: [
  '退款', '金额',
  '超过', ',',
  '需',   '要',
  '人工', '审核',
  '。'
]
Token 数量:9

注意后两段:

  • Agentic 被切成了 Agent + ic;
  • “需要”被切成了 需 + 要。

不是模型“不认识”这两个词,是词表里没有整块的它们。

Token 是“词表里的一块”#

你可以把 Token 理解成积木。

模型训练之前,工程师先准备一个词表(vocabulary),里面装着几万到几十万块“常用积木”。

分词器(tokenizer)的工作,就是拿一段文本,去词表里找积木:

  • 词表里有整块的,就整块拿走;
  • 没有整块的,就往小了拆,拆到字,甚至拆到字节。

所以 Token 不是“字”,也不是“词”,而是词表里预设的一块。

同一段文本,换一个词表,切出来的 Token 数就不一样。

这就是为什么:

  • Agent 在词表里是一整块,算 1 个 Token;
  • Agentic 不在词表里,只能拆成 Agent + ic,算 2 个;
  • “退款”“金额”是常用词,各算 1 个;
  • “需要”在某些词表里没有整块,只能拆成“需”+“要”,算 2 个。

代码怎么切:最长匹配#

咱们看这个玩具分词器的核心逻辑。

词表只有 10 块(toy-tokenizer.mjs:3-13):

js
const vocabulary = ['Agent', 'ic', '退款', '金额', '超过', '人工', '审核', '开发', ' ', '。']

第一步,按长度从长到短排序(toy-tokenizer.mjs:22-24):

js
const sortedVocabulary = [...vocabulary].sort(
	(first, second) => second.length - first.length
)

为什么要先排序?

为了“能整块拿就整块拿”。

如果不排序,先匹配到 A,那 Agent 就永远拼不回来了。

第二步,从左往右扫,每次找最长的可匹配块(toy-tokenizer.mjs:32-71):

js
function tokenize(text) {
	const tokens = []
	let rest = text

	while (rest.length > 0) {
		const matchedToken = sortedVocabulary.find((token) =>
			rest.startsWith(token)
		)

		if (matchedToken) {
			tokens.push(matchedToken)
			rest = rest.slice(matchedToken.length)
			continue
		}

		const [unknownCharacter] = [...rest]
		tokens.push(unknownCharacter)
		rest = rest.slice(unknownCharacter.length)
	}

	return tokens
}

rest 是还没切的剩余文本。

找到一个匹配块,就把它 push 进去,然后从 rest 里删掉这一段,继续。

如果一个都匹配不上呢?

退回单字:

js
const [unknownCharacter] = [...rest]

注意这里用了展开运算符 [...rest],不是 rest[0]。因为 emoji 这类字符在 JavaScript 里占两个 UTF-16 单元,直接取 [0] 会取出半个字符。展开运算符按 Unicode 码点迭代,才能拿到完整的一个字符。

所以“,”“需”“要”这些词表里没有的,就一个字一个字拿。

真实分词器不是这么简单#

咱们这个玩具用的是“最长匹配”,真实分词器主流用的是 BPE(Byte Pair Encoding,字节对编码)。

BPE 的思路是反过来的:

  1. 先把所有文本拆成字节;
  2. 统计哪两个相邻片段最常一起出现;
  3. 把这一对合并成一块新积木;
  4. 重复几万次,得到最终词表。

所以真实词表里的“块”,是统计出来的高频组合,不是人手工挑的词。

这带来几个后果:

第一,中文常被切碎。

中文没有空格,常用词又特别多,词表不可能覆盖所有组合。所以同一段中文,经常被拆成很多小块,Token 数偏高。

第二,数字会被分组。

在 GPT 系列的分词器里,连续数字通常按三位一组切。所以 2000 可能被切成 200 + 0 两块,而不是一整块。

第三,emoji 很贵。

一个家庭 emoji 👨‍👩‍👧‍👦,由多个码点组合而成,在常见分词器里会占到 10 个 Token 以上。发一个表情,可能比一句中文还贵。

第四,不同模型的切法不一样。

GPT、Claude、DeepSeek、Qwen,词表都不同。同一段文本,在这家算 100 个 Token,在那家可能算 120 个。

所以跨模型比价格,不能只看“每百万 Token 多少钱”,还要看“同一段话在各家算多少 Token”。

想自己验证,去哪看#

OpenAI 提供了一个在线分词器:

text
https://platform.openai.com/tokenizer

把一句话粘进去,它会把每个 Token 用不同颜色标出来,还会告诉你总数。

你可以拿这几句去试:

text
退款金额超过 2000 元时,需要人工审核。
Agentic 开发
你好,世界

观察三件事:

  1. 中文是不是经常被拆成单字;
  2. 2000 是不是被拆成 200 和 0;
  3. 同一个意思,中英文的 Token 数差多少。

注意:这个工具用的是 OpenAI 的词表,不能代表 DeepSeek 或 Qwen。但它足够让你理解“切分”这件事。

Token 数为什么重要#

三个地方,直接和钱、速度、能力挂钩。

第一,计费。

几乎所有大模型 API 都按 Token 收费,而且输入和输出分开计价。输出通常更贵。

你发 1000 个 Token,模型回 500 个,账单是按 1500 个算的。

第二,上下文长度。

模型的上下文窗口,单位也是 Token。窗口是 128K,指的是“输入 + 输出”加起来最多 128K Token,不是 128K 个字。

中文场景下,128K Token 大概只相当于几万字,不是十几万字。

第三,首字延迟。

输入越长,模型要“看”的内容越多,第一个 Token 出来得越慢。

这就是为什么长文档问答,首字经常要等好几秒。

一个省钱的习惯#

知道了 Token 的切法,就能做一些很实际的优化:

  • 能删的客套话就删(“麻烦您帮我看看”对结果没帮助);
  • 重复的长背景,改成摘要或引用;
  • 能用结构化字段,就别用一段自然语言描述;
  • 中文长文档,先抽取再提问,别整篇塞进去。

这些在第二章 RAG 和第六章 Memory 里还会展开。但根子在这里:你付的钱,是按 Token 算的,不是按字数算的。

几个容易误解的点#

PS 1:Token 不等于字。

一个汉字可能是 1 个 Token,也可能是 2 个;一个英文单词可能是 1 个,也可能被拆成 3 个。

PS 2:不是“中文一定比英文贵”。

要看具体词表和文本内容。有些中文常用词在词表里是整块,反而很省。总体趋势是中文 Token 数偏高,但不是绝对。

PS 3:你改不了线上模型的词表。

词表是训练时定死的。你能改的只有“怎么写”,不能改“怎么切”。

总结#

这一节咱们把 Token 拆开了:

  • Token 是词表里预设的一块,不是字,也不是词;
  • 分词器按“最长匹配”或 BPE,把文本切成 Token;
  • 词表里没有的,就往小了拆,拆到单字甚至字节;
  • Token 数决定计费、上下文占用和首字延迟。

下一节,咱们看另一个更实际的问题:你发给模型的,到底是一句话,还是一整个消息列表?为什么换个会话,它就不记得你了?