[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"learning-part-2-llm-principles":3,"learning-all":12},{"id":4,"slug":5,"title":6,"description":7,"level":8,"topic":9,"url":10,"content":11,"sortOrder":4},2,"part-2-llm-principles","Part 2 · 大模型原理 · 入门实操","这一站不卷数学，只把\"理解模型所需的知识\"讲透。；站 2A 解决\"理解模型\"，站 2B 解决\"面试能答\"。；这一层是\"有余力再做\"，不做也不影响你进入站 3。","BEGINNER","大模型原理",null,"# Part 2 · 大模型原理 · 入门实操\n\n\n---\n\n## Section 1 · 判别式 vs 生成式（概念日）\n\n**Subsection 1 · 用 AI 感受两类任务**\n打开 DeepSeek（`https:\u002F\u002Fchat.deepseek.com`），问：\n1. `判断这句话是正面还是负面评价：今天外卖迟到了` → 得到\"负面\"（这是**判别式**：挑类别）\n2. `写一首关于夏天的五言绝句` → 得到一首诗（这是**生成式**：造内容）\n- 💡 口诀：**判别式\"挑\"，生成式\"造\"**。LLM 是生成式。\n\n**Subsection 2 · 画一张对比图**\n在笔记本 \u002F 备忘录画两栏：\n```\n判别式模型           生成式模型\n- 学\"边界\"           - 学\"分布\"\n- 做分类\u002F判断         - 能凭空生成新内容\n- 例：垃圾邮件分类      - 例：写诗、写代码、画图\n- 只能\"挑\"           - 既能\"造\"也能\"挑\"（LLM 还能做分类）\n```\n\n**Subsection 3 · 过关自测**\n① 说一句\"判别式 vs 生成式\"的区别。② 问自己：LLM 属于哪种？为什么？\n答得出 = Section 1 完成。\n\n---\n\n## Section 2 · LLM 是什么，Token 怎么算钱（概念 + 小实操）\n\n**Subsection 1 · 背定义**\n在备忘录写（照抄）：\n> LLM（大语言模型）= 基于 Transformer、在海量文本上预训练、能理解并生成文字的**生成式**模型。\n\n**Subsection 2 · 亲手数一次 Token**\n- 打开 `https:\u002F\u002Fplatform.openai.com\u002Ftokenizer`（OpenAI 官方 token 计算器）\n- 在输入框粘贴这句话：`Hello, my name is 折叠思维，我想学习大模型开发。`\n- ✅ 预期看到：页面显示一个数字（比如 24 tokens），并高亮分词结果——英文单词大多算 1 个，一个汉字通常算 1~2 个。\n- 💡 记住：**API 按 Token 收费（输入 + 输出都算钱）**，中文比英文\"贵\"因为 token 更多。这个页面以后你天天用。\n\n**Subsection 3 · 记一笔账**\n在备忘录写：\n> 假设 1 万 token 约 X 元（不同模型不同，见平台价格页），我平时一次聊天输入输出各几百~几千 token，所以单次很便宜，但批量应用要算成本。\n\n**Subsection 4 · 过关自测**\n① 脱口说出 LLM 定义（三个关键词）。② 说清\"Token 是什么、为什么和钱有关\"。\n答得出 = Section 2 完成。\n\n---\n\n## Section 3 · Transformer 直觉：自注意力（看视频 + 画图）\n\n**Subsection 1 · 看视频**\n- 打开 `https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1pu411o7BE\u002F`（Transformer论文逐段精读）\n  - 重点理解：模型可以\"同时看一句话里所有词\"，不像老模型只能一个一个读。\n\n**Subsection 2 · 用大白话给自己讲一遍**\n在备忘录写：\n> 老办法（RNN）：读句子像看小说，一个字一个字往下看，看到后面就忘了前面。\n> Transformer：读句子像看黑板，所有字同时摆在眼前，每个字都\"关注\"其他字（这就是自注意力）。\n> 额外靠\"位置编码\"告诉模型：谁在前谁在后。\n\n**Subsection 3 · 过关自测**\n能回答：① 自注意力解决什么问题？② Transformer 怎么知道词的前后顺序？\n答得出 = Section 3 完成。（看不懂别硬刚，Section 9 会手写一个极简版，写代码时自然就懂了。）\n\n---\n\n## Section 4 · 预训练 → 微调 → 对齐（GPT 是怎么长出来的）\n\n**Subsection 1 · 看 InstructGPT 视频**\n- B 站搜 `InstructGPT`，看第一个讲解视频。\n- 看的时候盯住三个词：**预训练 → 微调（SFT）→ 对齐（RLHF）**。\n\n**Subsection 2 · 画时间线**\n在备忘录画：\n```\nGPT-1(2018)  学\"预测下一个词\" → 会续写\nGPT-2(2019)  更大 → 更流畅\nGPT-3(2020)  更大 + 会\"提示学习\" → 你说一句它接一句\nInstructGPT(2022)  +人类反馈对齐 → 会\"听话\"、不乱说\nChatGPT(2022) 包装成对话 → 火遍全球\n```\n- 💡 主线就一句话：**先\"读书\"（预训练），再\"听话\"（对齐）**。\n\n**Subsection 3 · 过关自测**\n能说出：① 预训练是干嘛的 ② 对齐（RLHF）解决什么问题。\n答得出 = Section 4 完成。\n\n---\n\n## Section 5 · 分词器四大流派（概念日）\n\n**Subsection 1 · 记住四个名字**\n在备忘录写：\n```\n分词器 = 把文字切成模型能处理的\"小块\"\n- BPE         字节对编码：从字母开始，反复合并高频组合（GPT 用）\n- WordPiece   BERT 用，加了\"优先整词\"规则\n- Unigram     按概率打分，保留最可能的切法\n- SentencePiece 上面几种的\"打包版\"，中文模型常用\n```\n💡 不用背原理，记住：**中文模型多用 SentencePiece \u002F BPE**。\n\n**Subsection 2 · 感受一次切分**\n- 打开 `https:\u002F\u002Fhuggingface.co\u002Ftokenizer`（如果没有就用 Section 2 的 OpenAI tokenizer 再切一次中文）。\n- 粘贴一句中文，观察它怎么切。\n- ✅ 预期看到：一个词可能被切成一两个 token，生僻字可能被切成两个。\n\n**Subsection 3 · 过关自测**\n能报出 4 个分词器名字，并说\"中文模型常用哪个\"。\n答得出 = Section 5 完成。**接下来开始装环境，进入真正的动手环节。**\n\n---\n\n## Section 6 · 装 Python 环境（重头戏，全程照做）\n\n> 目标：装好 Python + VS Code + pip，能运行你的第一个 Python 脚本。\n\n**Subsection 1 · 装 Python**\n- 浏览器打开 `https:\u002F\u002Fwww.python.org\u002Fdownloads\u002F` → 点黄色大按钮 **Download Python 3.x.x**\n- 双击安装包 → **重要：勾选底部\"Add Python to PATH\"**（这个必须勾！）→ 点 Install Now → 等完成\n- ✅ 预期看到：安装完成界面（Setup was successful）\n\n**Subsection 2 · 验证装好了**\n- 按键盘 `Win + R` → 输入 `cmd` 回车 → 弹出黑窗口（命令行）\n- 输入 `python --version` 回车\n- ✅ 预期看到：`Python 3.1x.x`（有版本号就是成功）\n- ❌ 提示\"不是内部或外部命令\"：说明上一步 PATH 没勾。重装 Python，这次一定勾上 \"Add Python to PATH\"。\n\n**Subsection 3 · 装 VS Code**\n- 打开 `https:\u002F\u002Fcode.visualstudio.com\u002F` → 点下载 → 安装（一路下一步）\n- 打开 VS Code → 左侧竖排图标点最下面那个\"扩展\"（四块小方块图标）→ 搜索框输入 `python` → 装 Microsoft 那个 Python 扩展（蓝色图标，装的人最多）\n\n**Subsection 4 · 跑你的第一个脚本**\n- 在桌面新建一个文件夹，名字随意（比如 `ai-lab`）\n- 打开 VS Code → 左上角\"文件 → 打开文件夹\"→ 选 `ai-lab`\n- 点顶部\"文件 → 新建文件\" → 输入：\n```python\nprint(\"Hello, 我开始了 AI Agent 学习！\")\nprint(1 + 1)\n```\n- 按 `Ctrl + S` 保存，文件名写 `hello.py`\n- 右上角点绿色三角\"运行 Python 文件\"\n- ✅ 预期看到：下面\"终端\"（Terminal）面板输出两行：\n```\nHello, 我开始了 AI Agent 学习！\n2\n```\n- ❌ 报 `No module named pip` \u002F 找不到 python：在 VS Code 底部状态栏（蓝色\u002F绿色条）看右下角是不是选了 Python 解释器；没有就 `Ctrl+Shift+P` → 输入 `Python: Select Interpreter` → 选你刚装的版本。\n\n**过关**：能成功运行 hello.py 并看到那两行输出 = Section 6 完成。\n\n---\n\n## Section 7 · 装 PyTorch 并跑第一个张量脚本\n\n**Subsection 1 · 装 PyTorch**\n- 回到刚才的 cmd 黑窗口，输入：\n```\npip install torch --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcpu\n```\n- 回车，等它下载安装（可能要几分钟）\n- ✅ 预期看到：最后出现 `Successfully installed torch-...`\n- ❌ 网络慢\u002F失败：多试一次；或先只装 CPU 版（上面命令就是 CPU 版，够学习用）。\n\n**Subsection 2 · 跑第一个 PyTorch 脚本**\n- VS Code 里新建文件，保存为 `tensor_demo.py`，内容：\n```python\nimport torch\n\n# 创建一个 2 行 3 列的张量（可以理解成\"表格数据\"）\nx = torch.tensor([[1.0, 2.0, 3.0],\n                  [4.0, 5.0, 6.0]])\n\nprint(\"x 的形状:\", x.shape)\nprint(\"x 的内容:\\n\", x)\n\n# 两行相加\ny = x + x\nprint(\"x+x:\\n\", y)\n\n# 求和\nprint(\"所有元素之和:\", x.sum().item())\n```\n- 运行\n- ✅ 预期看到：\n```\nx 的形状: torch.Size([2, 3])\nx 的内容:\n tensor([[1., 2., 3.],\n        [4., 5., 6.]])\nx+x:\n tensor([[ 2.,  4.,  6.],\n        [ 8., 10., 12.]])\n所有元素之和: 21.0\n```\n- 💡 不用深究，先知道\"张量 = 多维数组 = 模型的运算对象\"。\n\n**过关**：能看到上面输出 = Section 7 完成。\n\n---\n\n## Section 8 · 用现成模型做文本分类（第一个\"真·AI\"代码）\n\n**Subsection 1 · 装 Transformers**\n- cmd 黑窗口输入：`pip install transformers` 回车，等完成\n- ❌ 慢就加国内源：`pip install transformers -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n**Subsection 2 · 跑文本分类**\n- VS Code 新建文件保存为 `classify.py`：\n```python\nfrom transformers import pipeline\n\n# 加载一个现成的中文情感分类模型（自动下载，稍等）\nclassifier = pipeline(\"sentiment-analysis\", model=\"uer\u002Froberta-base-finetuned-jd-binary-chinese\")\n\n# 判几条\ntexts = [\n    \"这家店的手机质量很好，发货也快\",\n    \"快递太慢了，客服还不回消息\",\n]\nfor t in texts:\n    r = classifier(t)[0]\n    print(t, \"=>\", r[\"label\"], round(r[\"score\"], 3))\n```\n- 运行\n- ✅ 预期看到：两条都输出类似 `=> LABEL_1 0.98` 或 `LABEL_0`（第一次运行要下载模型，多等一会）。\n- 💡 这就是**判别式模型在真实干活**：它只负责\"挑\"情感，不生成内容。\n\n**过关**：能跑出分类结果 = Section 8 完成。\n\n---\n\n## Section 9 · 手写一个极简自注意力（看懂 Transformer 的关键）\n\n**Subsection 1 · 运行代码**\n- VS Code 新建 `mini_attention.py`：\n```python\nimport torch\n\n# 一句话 3 个词，每个词用 4 维向量表示\nwords = torch.tensor([\n    [1.0, 0.0, 0.0, 0.0],  # \"我\"\n    [0.0, 1.0, 0.0, 0.0],  # \"爱\"\n    [0.0, 0.0, 1.0, 0.0],  # \"你\"\n])\n\n# 计算\"我爱\"和\"爱你\"这两个相邻词的相似度（点积）\nsim_ai = torch.dot(words[0], words[1])  # 我·爱\nsim_ia = torch.dot(words[1], words[0])  # 爱·我\nprint(\"我 和 爱 的相似度:\", sim_ai.item())\nprint(\"爱 和 我 的相似度:\", sim_ia.item())\n\n# 极简\"注意力\"：每个词对其他词的关注权重 = 相似度\nweights = torch.mm(words, words.T)  # 3x3 相似度矩阵\nprint(\"注意力权重矩阵:\\n\", weights)\n```\n- 运行\n- ✅ 预期看到：一个 3x3 的矩阵，对角线最大（每个词和自己最像）。这就是\"注意力\"最朴素的形态：**一个词和哪个词越像，就越关注谁**。\n\n**Subsection 2 · 对照 Section 3 的视频想一遍**\n- 现在回头看自注意力：真实模型就是把这个相似度算得更复杂（Q\u002FK\u002FV + 多头），但内核和你上面这 3 行一样。\n\n**过关**：能跑出矩阵，并说一句\"注意力 = 每个词对别的词的关注程度\" = Section 9 完成。\n\n---\n\n## Section 10 · 本地跑一个小模型（Ollama）+ 站 2A 验收\n\n**Subsection 1 · 装 Ollama**\n- 打开 `https:\u002F\u002Follama.com\u002Fdownload` → 点 Windows 下载 → 安装（一路下一步）\n\n**Subsection 2 · 下载并运行一个小模型**\n- cmd 输入：`ollama run qwen2.5:1.5b`\n- 第一次会下载约 1GB，等它下完，进入对话模式（出现 `>>>` 提示符）\n- 输入 `你好` 回车\n- ✅ 预期看到：模型回话。输入 `\u002Fbye` 退出。\n- 💡 这就是**开源模型本地部署**——以后 Part 14 会深入。你现在已经亲手把一个大模型跑在了自己电脑上。\n\n**Subsection 3 · Part 2 验收勾选**\n- [ ] 能说出判别式 vs 生成式，并举例\n- [ ] 能说出 LLM 定义 + Token 与计费的关系\n- [ ] 能讲清自注意力解决什么问题\n- [ ] 能画出 GPT-1 → ChatGPT 的时间线，说清\"预训练→对齐\"\n- [ ] Python + VS Code 装好，hello.py 能跑\n- [ ] PyTorch 装好，tensor_demo.py 能跑\n- [ ] 文本分类代码跑通（Section 8）\n- [ ] 手写注意力代码跑通（Section 9）\n- [ ] Ollama 本地跑通小模型（Section 10）\n\n**全勾选 = Part 2 通过** → 进入下一站 **Part 3 · 大模型原理 · 面试深入**（讲 NLP \u002F 机器学习 \u002F 神经网络 \u002F RLHF）。\n\n---",[13,19,20,26,33,39,45,51,56,62,68,75,81,87,93,99,105,111,117,123,129],{"id":14,"slug":15,"title":16,"description":17,"level":8,"topic":18,"url":10,"content":10,"sortOrder":14},1,"part-1-llm-basics","Part 1 · 大模型基础认知","小白零基础友好。这一站不写代码，只建立\"大模型到底是什么\"的骨架。","大模型认知",{"id":4,"slug":5,"title":6,"description":7,"level":8,"topic":9,"url":10,"content":10,"sortOrder":4},{"id":21,"slug":22,"title":23,"description":24,"level":8,"topic":9,"url":10,"content":10,"sortOrder":25},100,"part-3-llm-principles-deep","Part 3 · 大模型原理 · 面试深入","数学基础、机器学习、神经网络、词向量、思维链等面试必考原理",3,{"id":27,"slug":28,"title":29,"description":30,"level":31,"topic":9,"url":10,"content":10,"sortOrder":32},101,"part-4-llm-principles-advanced","Part 4 · 大模型原理 · 进阶可选","从零写迷你模型、RLHF、PPO、分布式训练实操等进阶内容","INTERMEDIATE",4,{"id":25,"slug":34,"title":35,"description":36,"level":8,"topic":37,"url":10,"content":10,"sortOrder":38},"part-5-prompt-engineering","Part 5 · Prompt 提示词工程","从这里开始，你每天都要真的调大模型 API。","提示工程",5,{"id":32,"slug":40,"title":41,"description":42,"level":8,"topic":43,"url":10,"content":10,"sortOrder":44},"part-6-llm-api","Part 6 · 大模型 API 调用","站 3 你已经调通了 API。这一站把\"调用\"做成专业水准：","API 工程",6,{"id":38,"slug":46,"title":47,"description":48,"level":31,"topic":49,"url":10,"content":10,"sortOrder":50},"part-7-rag","Part 7 · RAG 检索增强生成","这一站是\"能落地\"的关键：让模型回答**你的私有知识**。","RAG",7,{"id":44,"slug":52,"title":53,"description":54,"level":31,"topic":49,"url":10,"content":10,"sortOrder":55},"part-8-rag-optimization","Part 8 · RAG 优化与评估","站 5 你做出了\"能跑\"的 RAG。这一站把它做到\"能打\"：",8,{"id":50,"slug":57,"title":58,"description":59,"level":31,"topic":60,"url":10,"content":10,"sortOrder":61},"part-9-langchain","Part 9 · LangChain 框架","目标：用 LangChain 把\"模型、提示词、检索、记忆、工具\"串成可复用的链和 Agent。","LangChain",9,{"id":55,"slug":63,"title":64,"description":65,"level":31,"topic":66,"url":10,"content":10,"sortOrder":67},"part-10-agent","Part 10 · Agent 基础","让模型从\"会聊天\"变成\"能干活\"：自己拆任务、调工具、看结果、再行动。","Agent",10,{"id":61,"slug":69,"title":70,"description":71,"level":72,"topic":73,"url":10,"content":10,"sortOrder":74},"part-11-multi-agent","Part 11 · 多 Agent 与 Agent IDE","从\"单个 Agent\"升级到\"多 Agent 协作\"，并掌握 AutoGen \u002F LangGraph \u002F GPTs \u002F Coze \u002F Dify 五个工具。","ADVANCED","多 Agent",11,{"id":67,"slug":76,"title":77,"description":78,"level":72,"topic":79,"url":10,"content":10,"sortOrder":80},"part-12-llamaindex","Part 12 · LlamaIndex","站 5~7 你用了 LangChain 做 RAG。LlamaIndex 是另一条专攻\"数据 + LLM\"的路线。","LlamaIndex",12,{"id":74,"slug":82,"title":83,"description":84,"level":72,"topic":85,"url":10,"content":10,"sortOrder":86},"part-13-transformer","Part 13 · Transformer 深入","站 2A 建立了直觉，这一站把手写代码跑通——从\"懂概念\"到\"写得出\"。","Transformer",13,{"id":80,"slug":88,"title":89,"description":90,"level":72,"topic":91,"url":10,"content":10,"sortOrder":92},"part-14-open-models","Part 14 · 开源模型与私有化部署","目标：把主流开源模型在本地\u002F服务器跑通，理解服务化工程（显存、量化、并发）。","模型部署",14,{"id":86,"slug":94,"title":95,"description":96,"level":72,"topic":97,"url":10,"content":10,"sortOrder":98},"part-15-finetuning","Part 15 · 模型微调 Fine-Tuning","目标：理解\"什么时候必须微调、怎么选基座、怎么备数据\"，并完整跑通一次业务微调。","微调",15,{"id":92,"slug":100,"title":101,"description":102,"level":72,"topic":103,"url":10,"content":10,"sortOrder":104},"part-16-peft-lora","Part 16 · PEFT 参数高效微调","重点吃透 **LoRA**：用极少量可训练参数微调大模型（消费级显卡就能跑）。","PEFT\u002FLoRA",16,{"id":98,"slug":106,"title":107,"description":108,"level":72,"topic":109,"url":10,"content":10,"sortOrder":110},"part-17-quantization","Part 17 · 模型量化","目标：理解\"为什么量化、主流算法各自思路\"，能动手量化并评估效果。","量化",17,{"id":104,"slug":112,"title":113,"description":114,"level":72,"topic":115,"url":10,"content":10,"sortOrder":116},"part-18-data-evaluation","Part 18 · 训练数据与模型评估","数据决定模型上限，评估决定你\"能不能交付\"。","数据与评估",18,{"id":110,"slug":118,"title":119,"description":120,"level":72,"topic":121,"url":10,"content":10,"sortOrder":122},"part-19-multimodal","Part 19 · 多模态应用","让 AI 同时\"看得懂图、听得了音、说得出话\"。","多模态",19,{"id":116,"slug":124,"title":125,"description":126,"level":72,"topic":127,"url":10,"content":10,"sortOrder":128},"part-20-projects-career","Part 20 · 项目实战 + 求职备战","把 0→1 到 1→100 学到的全部收敛成**能展示、能讲、能面试**的项目。","项目与求职",20,{"id":130,"slug":131,"title":132,"description":133,"level":72,"topic":134,"url":10,"content":10,"sortOrder":135},102,"extra-2026-ai-tech","额外篇 · 2026 年 AI 应用开发必学的 5 项成熟技术","从近半年爆发的技术里，挑出已经过了尝鲜期、能真正用在项目里的 5 项：推理模型、MCP、多模态、GraphRAG、AI 编程工具链，每项都给到能跑通的代码。","AI 工程实践",21]