Part 2 · 大模型原理 · 入门实操

Section 1 · 判别式 vs 生成式（概念日）

Subsection 1 · 用 AI 感受两类任务 打开 DeepSeek（https://chat.deepseek.com），问：

1. 判断这句话是正面还是负面评价：今天外卖迟到了 → 得到"负面"（这是判别式：挑类别）
2. 写一首关于夏天的五言绝句 → 得到一首诗（这是生成式：造内容）

• 口诀：判别式"挑"，生成式"造"。LLM 是生成式。

Subsection 2 · 画一张对比图 在笔记本 / 备忘录画两栏：

判别式模型           生成式模型- 学"边界"           - 学"分布"- 做分类/判断         - 能凭空生成新内容- 例：垃圾邮件分类      - 例：写诗、写代码、画图- 只能"挑"           - 既能"造"也能"挑"（LLM 还能做分类）

Subsection 3 · 过关自测 ① 说一句"判别式 vs 生成式"的区别。② 问自己：LLM 属于哪种？为什么？ 答得出 = Section 1 完成。

Section 2 · LLM 是什么，Token 怎么算钱（概念 + 小实操）

Subsection 1 · 背定义 在备忘录写（照抄）：

LLM（大语言模型）= 基于 Transformer、在海量文本上预训练、能理解并生成文字的生成式模型。

Subsection 2 · 亲手数一次 Token

• 打开 https://platform.openai.com/tokenizer（OpenAI 官方 token 计算器）
• 在输入框粘贴这句话：Hello, my name is 折叠思维，我想学习大模型开发。
• 预期看到：页面显示一个数字（比如 24 tokens），并高亮分词结果——英文单词大多算 1 个，一个汉字通常算 1~2 个。
• 记住：API 按 Token 收费（输入 + 输出都算钱），中文比英文"贵"因为 token 更多。这个页面以后你天天用。

Subsection 3 · 记一笔账 在备忘录写：

假设 1 万 token 约 X 元（不同模型不同，见平台价格页），我平时一次聊天输入输出各几百~几千 token，所以单次很便宜，但批量应用要算成本。

Subsection 4 · 过关自测 ① 脱口说出 LLM 定义（三个关键词）。② 说清"Token 是什么、为什么和钱有关"。 答得出 = Section 2 完成。

Section 3 · Transformer 直觉：自注意力（看视频 + 画图）

Subsection 1 · 看视频

• 打开 https://www.bilibili.com/video/BV1pu411o7BE/（Transformer论文逐段精读）
  • 重点理解：模型可以"同时看一句话里所有词"，不像老模型只能一个一个读。

Subsection 2 · 用大白话给自己讲一遍 在备忘录写：

老办法（RNN）：读句子像看小说，一个字一个字往下看，看到后面就忘了前面。 Transformer：读句子像看黑板，所有字同时摆在眼前，每个字都"关注"其他字（这就是自注意力）。 额外靠"位置编码"告诉模型：谁在前谁在后。

Subsection 3 · 过关自测 能回答：① 自注意力解决什么问题？② Transformer 怎么知道词的前后顺序？ 答得出 = Section 3 完成。（看不懂别硬刚，Section 9 会手写一个极简版，写代码时自然就懂了。）

Section 4 · 预训练 → 微调 → 对齐（GPT 是怎么长出来的）

Subsection 1 · 看 InstructGPT 视频

• B 站搜 InstructGPT，看第一个讲解视频。
• 看的时候盯住三个词：预训练 → 微调（SFT）→ 对齐（RLHF）。

Subsection 2 · 画时间线 在备忘录画：

GPT-1(2018)  学"预测下一个词" → 会续写GPT-2(2019)  更大 → 更流畅GPT-3(2020)  更大 + 会"提示学习" → 你说一句它接一句InstructGPT(2022)  +人类反馈对齐 → 会"听话"、不乱说ChatGPT(2022) 包装成对话 → 火遍全球

• 主线就一句话：先"读书"（预训练），再"听话"（对齐）。

Subsection 3 · 过关自测 能说出：① 预训练是干嘛的 ② 对齐（RLHF）解决什么问题。 答得出 = Section 4 完成。

Section 5 · 分词器四大流派（概念日）

Subsection 1 · 记住四个名字 在备忘录写：

分词器 = 把文字切成模型能处理的"小块"- BPE         字节对编码：从字母开始，反复合并高频组合（GPT 用）- WordPiece   BERT 用，加了"优先整词"规则- Unigram     按概率打分，保留最可能的切法- SentencePiece 上面几种的"打包版"，中文模型常用

不用背原理，记住：中文模型多用 SentencePiece / BPE。

Subsection 2 · 感受一次切分

• 打开 https://huggingface.co/tokenizer（如果没有就用 Section 2 的 OpenAI tokenizer 再切一次中文）。
• 粘贴一句中文，观察它怎么切。
• 预期看到：一个词可能被切成一两个 token，生僻字可能被切成两个。

Subsection 3 · 过关自测 能报出 4 个分词器名字，并说"中文模型常用哪个"。 答得出 = Section 5 完成。接下来开始装环境，进入真正的动手环节。

Section 6 · 装 Python 环境（重头戏，全程照做）

目标：装好 Python + VS Code + pip，能运行你的第一个 Python 脚本。

Subsection 1 · 装 Python

• 浏览器打开 https://www.python.org/downloads/ → 点黄色大按钮 Download Python 3.x.x
• 双击安装包 → 重要：勾选底部"Add Python to PATH"（这个必须勾！）→ 点 Install Now → 等完成
• 预期看到：安装完成界面（Setup was successful）

Subsection 2 · 验证装好了

• 按键盘 Win + R → 输入 cmd 回车 → 弹出黑窗口（命令行）
• 输入 python --version 回车
• 预期看到：Python 3.1x.x（有版本号就是成功）
• 提示"不是内部或外部命令"：说明上一步 PATH 没勾。重装 Python，这次一定勾上 “Add Python to PATH”。

Subsection 3 · 装 VS Code

• 打开 https://code.visualstudio.com/ → 点下载 → 安装（一路下一步）
• 打开 VS Code → 左侧竖排图标点最下面那个"扩展"（四块小方块图标）→ 搜索框输入 python → 装 Microsoft 那个 Python 扩展（蓝色图标，装的人最多）

Subsection 4 · 跑你的第一个脚本

• 在桌面新建一个文件夹，名字随意（比如 ai-lab）
• 打开 VS Code → 左上角"文件 → 打开文件夹"→ 选 ai-lab
• 点顶部"文件 → 新建文件" → 输入：

print("Hello, 我开始了 AI Agent 学习！")print(1 + 1)

• 按 Ctrl + S 保存，文件名写 hello.py
• 右上角点绿色三角"运行 Python 文件"
• 预期看到：下面"终端"（Terminal）面板输出两行：

Hello, 我开始了 AI Agent 学习！2

• 报 No module named pip / 找不到 python：在 VS Code 底部状态栏（蓝色/绿色条）看右下角是不是选了 Python 解释器；没有就 Ctrl+Shift+P → 输入 Python: Select Interpreter → 选你刚装的版本。

过关：能成功运行 hello.py 并看到那两行输出 = Section 6 完成。

Section 7 · 装 PyTorch 并跑第一个张量脚本

Subsection 1 · 装 PyTorch

• 回到刚才的 cmd 黑窗口，输入：

pip install torch --index-url https://download.pytorch.org/whl/cpu

• 回车，等它下载安装（可能要几分钟）
• 预期看到：最后出现 Successfully installed torch-...
• 网络慢/失败：多试一次；或先只装 CPU 版（上面命令就是 CPU 版，够学习用）。

Subsection 2 · 跑第一个 PyTorch 脚本

• VS Code 里新建文件，保存为 tensor_demo.py，内容：

import torch# 创建一个 2 行 3 列的张量（可以理解成"表格数据"）x = torch.tensor([[1.0, 2.0, 3.0],                  [4.0, 5.0, 6.0]])print("x 的形状:", x.shape)print("x 的内容:\n", x)# 两行相加y = x + xprint("x+x:\n", y)# 求和print("所有元素之和:", x.sum().item())

• 运行
• 预期看到：

x 的形状: torch.Size([2, 3])x 的内容: tensor([[1., 2., 3.],        [4., 5., 6.]])x+x: tensor([[ 2.,  4.,  6.],        [ 8., 10., 12.]])所有元素之和: 21.0

• 不用深究，先知道"张量 = 多维数组 = 模型的运算对象"。

过关：能看到上面输出 = Section 7 完成。

Section 8 · 用现成模型做文本分类（第一个"真·AI"代码）

Subsection 1 · 装 Transformers

• cmd 黑窗口输入：pip install transformers 回车，等完成
• 慢就加国内源：pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

Subsection 2 · 跑文本分类

• VS Code 新建文件保存为 classify.py：

from transformers import pipeline# 加载一个现成的中文情感分类模型（自动下载，稍等）classifier = pipeline("sentiment-analysis", model="uer/roberta-base-finetuned-jd-binary-chinese")# 判几条texts = [    "这家店的手机质量很好，发货也快",    "快递太慢了，客服还不回消息",]for t in texts:    r = classifier(t)[0]    print(t, "=>", r["label"], round(r["score"], 3))

• 运行
• 预期看到：两条都输出类似 => LABEL_1 0.98 或 LABEL_0（第一次运行要下载模型，多等一会）。
• 这就是判别式模型在真实干活：它只负责"挑"情感，不生成内容。

过关：能跑出分类结果 = Section 8 完成。

Section 9 · 手写一个极简自注意力（看懂 Transformer 的关键）

Subsection 1 · 运行代码

• VS Code 新建 mini_attention.py：

import torch# 一句话 3 个词，每个词用 4 维向量表示words = torch.tensor([    [1.0, 0.0, 0.0, 0.0],  # "我"    [0.0, 1.0, 0.0, 0.0],  # "爱"    [0.0, 0.0, 1.0, 0.0],  # "你"])# 计算"我爱"和"爱你"这两个相邻词的相似度（点积）sim_ai = torch.dot(words[0], words[1])  # 我·爱sim_ia = torch.dot(words[1], words[0])  # 爱·我print("我 和 爱 的相似度:", sim_ai.item())print("爱 和 我 的相似度:", sim_ia.item())# 极简"注意力"：每个词对其他词的关注权重 = 相似度weights = torch.mm(words, words.T)  # 3x3 相似度矩阵print("注意力权重矩阵:\n", weights)

• 运行
• 预期看到：一个 3x3 的矩阵，对角线最大（每个词和自己最像）。这就是"注意力"最朴素的形态：一个词和哪个词越像，就越关注谁。

Subsection 2 · 对照 Section 3 的视频想一遍

• 现在回头看自注意力：真实模型就是把这个相似度算得更复杂（Q/K/V + 多头），但内核和你上面这 3 行一样。

过关：能跑出矩阵，并说一句"注意力 = 每个词对别的词的关注程度" = Section 9 完成。

Section 10 · 本地跑一个小模型（Ollama）+ 站 2A 验收

Subsection 1 · 装 Ollama

• 打开 https://ollama.com/download → 点 Windows 下载 → 安装（一路下一步）

Subsection 2 · 下载并运行一个小模型

• cmd 输入：ollama run qwen2.5:1.5b
• 第一次会下载约 1GB，等它下完，进入对话模式（出现 >>> 提示符）
• 输入 你好 回车
• 预期看到：模型回话。输入 /bye 退出。
• 这就是开源模型本地部署——以后 Part 14 会深入。你现在已经亲手把一个大模型跑在了自己电脑上。

Subsection 3 · Part 2 验收勾选

• 能说出判别式 vs 生成式，并举例
• 能说出 LLM 定义 + Token 与计费的关系
• 能讲清自注意力解决什么问题
• 能画出 GPT-1 → ChatGPT 的时间线，说清"预训练→对齐"
• Python + VS Code 装好，hello.py 能跑
• PyTorch 装好，tensor_demo.py 能跑
• 文本分类代码跑通（Section 8）
• 手写注意力代码跑通（Section 9）
• Ollama 本地跑通小模型（Section 10）

全勾选 = Part 2 通过 → 进入下一站 Part 3 · 大模型原理 · 面试深入（讲 NLP / 机器学习 / 神经网络 / RLHF）。