1.4 Token 到底是什么#
上一节咱们说,模型是一个 Token 一个 Token 地生成。
那 Token 到底是什么?
是“字”吗?是“词”吗?
都不是。
这一节,咱们把“模型眼里的文字”拆开看。看完你就明白两件事:为什么中文按 Token 计费会偏贵,为什么同一个问题换个写法,账单能差一截。
先看一个反直觉的现象#
下面三句话,意思差不多,你猜哪句 Token 最多?
Agent 开发
Agentic 开发
退款金额超过,需要人工审核。直觉上,第一句最短,应该最省。
但真实分词器给出的结果,往往不是按“字数”排的。
咱们先跑一个本地脚本,它实现了一个极简的分词器:
cd Agent--Code/Node/第一章/04-token-demo
node toy-tokenizer.mjs真实输出:
原始内容:Agent 开发
切分结果: [ 'Agent', ' ', '开发' ]
Token 数量:3
原始内容:Agentic 开发
切分结果: [ 'Agent', 'ic', ' ', '开发' ]
Token 数量:4
原始内容:退款金额超过,需要人工审核。
切分结果: [
'退款', '金额',
'超过', ',',
'需', '要',
'人工', '审核',
'。'
]
Token 数量:9注意后两段:
Agentic被切成了Agent+ic;- “需要”被切成了
需+要。
不是模型“不认识”这两个词,是词表里没有整块的它们。
Token 是“词表里的一块”#
你可以把 Token 理解成积木。
模型训练之前,工程师先准备一个词表(vocabulary),里面装着几万到几十万块“常用积木”。
分词器(tokenizer)的工作,就是拿一段文本,去词表里找积木:
- 词表里有整块的,就整块拿走;
- 没有整块的,就往小了拆,拆到字,甚至拆到字节。
所以 Token 不是“字”,也不是“词”,而是词表里预设的一块。
同一段文本,换一个词表,切出来的 Token 数就不一样。
这就是为什么:
Agent在词表里是一整块,算 1 个 Token;Agentic不在词表里,只能拆成Agent+ic,算 2 个;- “退款”“金额”是常用词,各算 1 个;
- “需要”在某些词表里没有整块,只能拆成“需”+“要”,算 2 个。
代码怎么切:最长匹配#
咱们看这个玩具分词器的核心逻辑。
词表只有 10 块(toy-tokenizer.mjs:3-13):
const vocabulary = ['Agent', 'ic', '退款', '金额', '超过', '人工', '审核', '开发', ' ', '。']第一步,按长度从长到短排序(toy-tokenizer.mjs:22-24):
const sortedVocabulary = [...vocabulary].sort(
(first, second) => second.length - first.length
)为什么要先排序?
为了“能整块拿就整块拿”。
如果不排序,先匹配到 A,那 Agent 就永远拼不回来了。
第二步,从左往右扫,每次找最长的可匹配块(toy-tokenizer.mjs:32-71):
function tokenize(text) {
const tokens = []
let rest = text
while (rest.length > 0) {
const matchedToken = sortedVocabulary.find((token) =>
rest.startsWith(token)
)
if (matchedToken) {
tokens.push(matchedToken)
rest = rest.slice(matchedToken.length)
continue
}
const [unknownCharacter] = [...rest]
tokens.push(unknownCharacter)
rest = rest.slice(unknownCharacter.length)
}
return tokens
}rest 是还没切的剩余文本。
找到一个匹配块,就把它 push 进去,然后从 rest 里删掉这一段,继续。
如果一个都匹配不上呢?
退回单字:
const [unknownCharacter] = [...rest]注意这里用了展开运算符 [...rest],不是 rest[0]。因为 emoji 这类字符在 JavaScript 里占两个 UTF-16 单元,直接取 [0] 会取出半个字符。展开运算符按 Unicode 码点迭代,才能拿到完整的一个字符。
所以“,”“需”“要”这些词表里没有的,就一个字一个字拿。
真实分词器不是这么简单#
咱们这个玩具用的是“最长匹配”,真实分词器主流用的是 BPE(Byte Pair Encoding,字节对编码)。
BPE 的思路是反过来的:
- 先把所有文本拆成字节;
- 统计哪两个相邻片段最常一起出现;
- 把这一对合并成一块新积木;
- 重复几万次,得到最终词表。
所以真实词表里的“块”,是统计出来的高频组合,不是人手工挑的词。
这带来几个后果:
第一,中文常被切碎。
中文没有空格,常用词又特别多,词表不可能覆盖所有组合。所以同一段中文,经常被拆成很多小块,Token 数偏高。
第二,数字会被分组。
在 GPT 系列的分词器里,连续数字通常按三位一组切。所以 2000 可能被切成 200 + 0 两块,而不是一整块。
第三,emoji 很贵。
一个家庭 emoji 👨👩👧👦,由多个码点组合而成,在常见分词器里会占到 10 个 Token 以上。发一个表情,可能比一句中文还贵。
第四,不同模型的切法不一样。
GPT、Claude、DeepSeek、Qwen,词表都不同。同一段文本,在这家算 100 个 Token,在那家可能算 120 个。
所以跨模型比价格,不能只看“每百万 Token 多少钱”,还要看“同一段话在各家算多少 Token”。
想自己验证,去哪看#
OpenAI 提供了一个在线分词器:
https://platform.openai.com/tokenizer把一句话粘进去,它会把每个 Token 用不同颜色标出来,还会告诉你总数。
你可以拿这几句去试:
退款金额超过 2000 元时,需要人工审核。
Agentic 开发
你好,世界观察三件事:
- 中文是不是经常被拆成单字;
2000是不是被拆成200和0;- 同一个意思,中英文的 Token 数差多少。
注意:这个工具用的是 OpenAI 的词表,不能代表 DeepSeek 或 Qwen。但它足够让你理解“切分”这件事。
Token 数为什么重要#
三个地方,直接和钱、速度、能力挂钩。
第一,计费。
几乎所有大模型 API 都按 Token 收费,而且输入和输出分开计价。输出通常更贵。
你发 1000 个 Token,模型回 500 个,账单是按 1500 个算的。
第二,上下文长度。
模型的上下文窗口,单位也是 Token。窗口是 128K,指的是“输入 + 输出”加起来最多 128K Token,不是 128K 个字。
中文场景下,128K Token 大概只相当于几万字,不是十几万字。
第三,首字延迟。
输入越长,模型要“看”的内容越多,第一个 Token 出来得越慢。
这就是为什么长文档问答,首字经常要等好几秒。
一个省钱的习惯#
知道了 Token 的切法,就能做一些很实际的优化:
- 能删的客套话就删(“麻烦您帮我看看”对结果没帮助);
- 重复的长背景,改成摘要或引用;
- 能用结构化字段,就别用一段自然语言描述;
- 中文长文档,先抽取再提问,别整篇塞进去。
这些在第二章 RAG 和第六章 Memory 里还会展开。但根子在这里:你付的钱,是按 Token 算的,不是按字数算的。
几个容易误解的点#
PS 1:Token 不等于字。
一个汉字可能是 1 个 Token,也可能是 2 个;一个英文单词可能是 1 个,也可能被拆成 3 个。
PS 2:不是“中文一定比英文贵”。
要看具体词表和文本内容。有些中文常用词在词表里是整块,反而很省。总体趋势是中文 Token 数偏高,但不是绝对。
PS 3:你改不了线上模型的词表。
词表是训练时定死的。你能改的只有“怎么写”,不能改“怎么切”。
总结#
这一节咱们把 Token 拆开了:
- Token 是词表里预设的一块,不是字,也不是词;
- 分词器按“最长匹配”或 BPE,把文本切成 Token;
- 词表里没有的,就往小了拆,拆到单字甚至字节;
- Token 数决定计费、上下文占用和首字延迟。
下一节,咱们看另一个更实际的问题:你发给模型的,到底是一句话,还是一整个消息列表?为什么换个会话,它就不记得你了?