Agent 全栈实战
第 01 章

第一章 大语言模型与 AI 应用基础

第一章 大语言模型与 AI 应用基础#

这一章不写 Agent,先把“模型”这个东西拆开看。

因为后面所有的坑——上下文超了、成本高了、答非所问、一本正经地胡说——根子都在这一章。

学完你能做到#

  • 说清模型、聊天机器人、Agent 三者的边界;
  • 看懂一次 /chat/completions 请求里到底发了什么;
  • 估算一段文本的 Token 数、成本和首字延迟;
  • 给一次调用做 Context Budget,而不是把历史全塞进去;
  • 判断一个错误是“模型不知道”还是“模型被问法带偏”;
  • 给不同任务选模型,并设计带降级的路由;
  • 用 Q/K/V 讲清楚 Attention 在干什么。

十一节,一条线#

节标题一句话源码
1.1从聊天机器人到 Agent模型只看得到本次上下文无(实验课)
1.2AI、机器学习、深度学习、大模型和 Agent五个词不是套娃无(实验课)
1.3大语言模型如何生成内容一个 Token 一个 Token 地蹦03-llm-generation-demo
1.4Token 到底是什么切分单位,不是字04-token-demo
1.5Prompt 与 Message模型收到的是 messages 数组05-deepseek-message-demo
1.6Context Window 与 Context Budget杯子多大,水怎么倒06-context-window-demo
1.7幻觉与 Temperature温度改倾向,不改对错07-model-boundary-demo
1.8模型选择不是所有任务都值得上最贵的08-model-router-demo
1.9Transformer 与 Attention模型怎么“看见”前文09-transformer-attention-demo
1.10第一章怎么写进简历把知识变成能说出口的话无
1.11第一章习题25 题,做完再进第二章无

环境#

  • Node.js 22.12 以上;
  • 1.3、1.4、1.9 零依赖,直接 node 就能跑;
  • 1.5 到 1.8 需要 DEEPSEEK_API_KEY,没有 Key 时部分脚本会走演示分支,部分会直接报错(1.7 就故意留了这个坑)。

在 Node/第一章/<节目录> 下:

bash
npm install
node <入口文件>

各节入口:

text
03-llm-generation-demo/generation-loop.mjs
04-token-demo/toy-tokenizer.mjs
05-deepseek-message-demo/multi-turn.mjs
06-context-window-demo/observe-context.js
06-context-window-demo/context-budget.js
07-model-boundary-demo/reliable-refund-agent.js
07-model-boundary-demo/temperature-demo.js
08-model-router-demo/demo.js
09-transformer-attention-demo/attention-demo.js

怎么学#

第一遍,按顺序读,别跳。

1.1 到 1.2 建立边界感;1.3 到 1.4 建立“生成”和“切分”的直觉;1.5 到 1.6 是工程部分,直接决定你后面写 Agent 时会不会翻车;1.7 到 1.8 是判断与选型;1.9 是原理收尾。

第二遍,只跑代码。

每个 demo 至少改一个变量再跑一次:

  • 1.3:把 context 改成别的句子,看候选表怎么变;
  • 1.4:换一句中文,数 Token;
  • 1.5:加一条 system,看回答风格变不变;
  • 1.6:改预算常量,看裁剪结果;
  • 1.7:把阈值从 2000 改成 5000,看结论翻转;
  • 1.8:改关键词,看路由走偏;
  • 1.9:换一个目标 Token,看它关注谁。

第三遍,合上书讲。

对着 1.10 的八个问题,用自己的话讲一遍。讲不顺的地方,就是没懂的地方。

三个最容易被忽略的点#

第一,模型无状态。

“记得上一轮”是调用方把历史重新发了一遍。自己写 Agent 时,历史管理是你的活。

第二,Token 不是字。

成本和上下文都按 Token 算。中文、数字、Emoji 的切分差异很大。

第三,温度不治幻觉。

幻觉来自“只预测、不核实”。要靠资料、约束、结构化输出和外部校验。

下一章#

第二章进入 RAG:怎么把外部资料喂给模型,怎么检索,怎么重排,怎么让它“不知道就说不知道”。

第一章的 Context Budget,会在第二章变成“检索结果怎么塞进预算”的具体问题。

本章小节