第 01 章
第一章 大语言模型与 AI 应用基础
第一章 大语言模型与 AI 应用基础#
这一章不写 Agent,先把“模型”这个东西拆开看。
因为后面所有的坑——上下文超了、成本高了、答非所问、一本正经地胡说——根子都在这一章。
学完你能做到#
- 说清模型、聊天机器人、Agent 三者的边界;
- 看懂一次
/chat/completions请求里到底发了什么; - 估算一段文本的 Token 数、成本和首字延迟;
- 给一次调用做 Context Budget,而不是把历史全塞进去;
- 判断一个错误是“模型不知道”还是“模型被问法带偏”;
- 给不同任务选模型,并设计带降级的路由;
- 用 Q/K/V 讲清楚 Attention 在干什么。
十一节,一条线#
| 节 | 标题 | 一句话 | 源码 |
|---|---|---|---|
| 1.1 | 从聊天机器人到 Agent | 模型只看得到本次上下文 | 无(实验课) |
| 1.2 | AI、机器学习、深度学习、大模型和 Agent | 五个词不是套娃 | 无(实验课) |
| 1.3 | 大语言模型如何生成内容 | 一个 Token 一个 Token 地蹦 | 03-llm-generation-demo |
| 1.4 | Token 到底是什么 | 切分单位,不是字 | 04-token-demo |
| 1.5 | Prompt 与 Message | 模型收到的是 messages 数组 | 05-deepseek-message-demo |
| 1.6 | Context Window 与 Context Budget | 杯子多大,水怎么倒 | 06-context-window-demo |
| 1.7 | 幻觉与 Temperature | 温度改倾向,不改对错 | 07-model-boundary-demo |
| 1.8 | 模型选择 | 不是所有任务都值得上最贵的 | 08-model-router-demo |
| 1.9 | Transformer 与 Attention | 模型怎么“看见”前文 | 09-transformer-attention-demo |
| 1.10 | 第一章怎么写进简历 | 把知识变成能说出口的话 | 无 |
| 1.11 | 第一章习题 | 25 题,做完再进第二章 | 无 |
环境#
- Node.js 22.12 以上;
- 1.3、1.4、1.9 零依赖,直接
node就能跑; - 1.5 到 1.8 需要
DEEPSEEK_API_KEY,没有 Key 时部分脚本会走演示分支,部分会直接报错(1.7 就故意留了这个坑)。
在 Node/第一章/<节目录> 下:
bash
npm install
node <入口文件>各节入口:
text
03-llm-generation-demo/generation-loop.mjs
04-token-demo/toy-tokenizer.mjs
05-deepseek-message-demo/multi-turn.mjs
06-context-window-demo/observe-context.js
06-context-window-demo/context-budget.js
07-model-boundary-demo/reliable-refund-agent.js
07-model-boundary-demo/temperature-demo.js
08-model-router-demo/demo.js
09-transformer-attention-demo/attention-demo.js怎么学#
第一遍,按顺序读,别跳。
1.1 到 1.2 建立边界感;1.3 到 1.4 建立“生成”和“切分”的直觉;1.5 到 1.6 是工程部分,直接决定你后面写 Agent 时会不会翻车;1.7 到 1.8 是判断与选型;1.9 是原理收尾。
第二遍,只跑代码。
每个 demo 至少改一个变量再跑一次:
- 1.3:把
context改成别的句子,看候选表怎么变; - 1.4:换一句中文,数 Token;
- 1.5:加一条
system,看回答风格变不变; - 1.6:改预算常量,看裁剪结果;
- 1.7:把阈值从 2000 改成 5000,看结论翻转;
- 1.8:改关键词,看路由走偏;
- 1.9:换一个目标 Token,看它关注谁。
第三遍,合上书讲。
对着 1.10 的八个问题,用自己的话讲一遍。讲不顺的地方,就是没懂的地方。
三个最容易被忽略的点#
第一,模型无状态。
“记得上一轮”是调用方把历史重新发了一遍。自己写 Agent 时,历史管理是你的活。
第二,Token 不是字。
成本和上下文都按 Token 算。中文、数字、Emoji 的切分差异很大。
第三,温度不治幻觉。
幻觉来自“只预测、不核实”。要靠资料、约束、结构化输出和外部校验。
下一章#
第二章进入 RAG:怎么把外部资料喂给模型,怎么检索,怎么重排,怎么让它“不知道就说不知道”。
第一章的 Context Budget,会在第二章变成“检索结果怎么塞进预算”的具体问题。
本章小节
01
1.1 从聊天机器人到 Agent
这一章,咱们要解决一个最基础、也最容易被跳过的问题:
02
1.2 AI、机器学习、深度学习、大模型和 Agent
上一节咱们说,Agent 是“模型 + 工具 + 循环”。
03
1.3 大语言模型如何生成内容
前面两节,咱们已经知道模型能回答问题、能被 Prompt 影响,也知道它有时候会一本正经地胡说八道。
04
1.4 Token 到底是什么
上一节咱们说,模型是一个 Token 一个 Token 地生成。
05
1.5 Prompt 与 Message:模型看到的不是一句话
上一节最后留了个问题:
06
1.6 Context Window 与 Context Budget
上一节咱们知道,多轮对话就是把历史一遍遍发过去。
07
1.7 幻觉与 Temperature:它为什么一本正经地错
前面几节,咱们一直在讲“模型怎么工作”。
08
1.8 模型选择:不是所有任务都值得上最贵的模型
上一节咱们说,结论用代码算,表达才交给模型。
09
1.9 Transformer 与 Attention:模型怎么“看见”前文
前面八节,咱们一直在用模型,但还没拆开它最核心的那个零件。
10
1.10 第一章怎么写进简历
学完一章,最常见的状态是:感觉自己懂了,但说不出来。
11
1.11 第一章习题
25 道题,三种题型。