[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"learning-part-3-llm-principles-deep":3,"learning-all":13},{"id":4,"slug":5,"title":6,"description":7,"level":8,"topic":9,"url":10,"content":11,"sortOrder":12},100,"part-3-llm-principles-deep","Part 3 · 大模型原理 · 面试深入","数学基础、机器学习、神经网络、词向量、思维链等面试必考原理","BEGINNER","大模型原理",null,"# Part 3 · 大模型原理 · 面试深入\n\n\n---\n\n## Section 1 · 数学基础·够用版（线性代数）\n\n**Subsection 1 · 只学 4 个东西**\n打开 B 站搜 `线性代数 向量 矩阵 通俗`，看 30 分钟。你只需要懂 4 个词：\n```\n标量    单个数字        例：5\n向量    一串数字        例：[1,2,3]\n矩阵    二维表格数字     例：2行3列\n点积    两个向量\"配对相乘再相加\"，用来算相似度\n```\n- 💡 你 Part 2 · Section 9 已经用过点积（torch.dot），现在给它起上名字而已。\n\n**Subsection 2 · 在代码里认一遍**\nVS Code 新建 `math_demo.py`：\n```python\nimport torch\n\nv1 = torch.tensor([1.0, 2.0, 3.0])\nv2 = torch.tensor([4.0, 5.0, 6.0])\n\nprint(\"向量相加:\", v1 + v2)          # 对应位置相加\nprint(\"点积(相似度):\", torch.dot(v1, v2).item())  # 1*4+2*5+3*6=32\n```\n- ✅ 预期看到：`向量相加: tensor([5., 7., 9.])` 和 `点积(相似度): 32.0`\n\n**过关**：能说出标量\u002F向量\u002F矩阵\u002F点积各是什么 = Section 1 完成。\n\n---\n\n## Section 2 · 数学基础·够用版（概率统计）\n\n**Subsection 1 · 懂 3 个词**\nB 站搜 `概率论 条件概率 贝叶斯 通俗` 看 30 分钟。记 3 个词：\n```\n概率 P(A)          事件 A 发生的可能性，0~1\n条件概率 P(A|B)     已知 B 发生，A 发生的概率\n贝叶斯公式          \"根据结果反推原因\"，模型判断的关键\n```\n- 💡 面试常问\"朴素贝叶斯怎么分类\"——就是\"根据词算它是哪类\"的贝叶斯应用。\n\n**Subsection 2 · 一句人话总结**\n备忘录写：\n> 贝叶斯 = 我用看到的证据（词），去反推它最可能是哪一类（好评\u002F差评）。\n\n**过关**：能解释\"条件概率\"和\"贝叶斯\"大概意思 = Section 2 完成。\n\n---\n\n## Section 3 · 机器学习三大类（概念日）\n\n**Subsection 1 · 记三句话**\nB 站搜 `监督学习 无监督学习 半监督学习 区别` 看 20 分钟。记：\n```\n监督学习     有标签（答案）→ 学映射      例：垃圾邮件分类（每条标了好\u002F坏）\n无监督学习   没标签 → 找结构             例：把客户自动分成几类\n半监督学习   少量标签 + 大量没标签       例：只有 100 条标注，还有 1 万条没标\n```\n\n**Subsection 2 · 对号入座**\n判断下面各属于哪类（答案在文末）：\n1. 给一堆猫狗照片，让模型自己把相似的归一组\n2. 给照片+标签（猫\u002F狗）训练识别\n3. 有 50 张标好的 + 5000 张没标的\n\n**过关**：能说出三类区别 = Section 3 完成。\n（答案：1 无监督 2 监督 3 半监督）\n\n---\n\n## Section 4 · TF-IDF + 朴素贝叶斯（第一个\"机器学习\"代码）\n\n**Subsection 1 · 概念 10 分钟**\n```\nTF-IDF = 给每个词打分：在本文出现多(重要) × 在所有文章里少见(更独特)\n朴素贝叶斯分类 = 看\"这条文本里出现了哪些词\"，算它属于哪一类概率最高\n```\n\n**Subsection 2 · 跑代码**\nVS Code 新建 `nb_classify.py`：\n```python\nimport jieba\nfrom sklearn.feature_extraction.text import TfidfVectorizer\nfrom sklearn.naive_bayes import MultinomialNB\n\ntexts = [\n    \"质量很好 速度快\",\n    \"好用 推荐 值得买\",\n    \"很垃圾 差评\",\n    \"太慢了 后悔\",\n    \"产品不错 值得购买\",  \n    \"这个性价比很高 五星好评\",\n]\nlabels = [1, 1, 0, 0, 1, 1]\n\n# 用 jieba 分词：把整串词切成真正的词\ndef cut(text):\n    return \" \".join(jieba.cut(text))\n# TF-IDF 把文字变成数字\nvec = TfidfVectorizer(tokenizer=cut) \nX = vec.fit_transform(texts)\n# 训练朴素贝叶斯\nclf = MultinomialNB().fit(X, labels)\n# 预测新句子\nnew = [\"这个产品不错 值得购买\"]\nX_new = vec.transform(new)\nprint(\"新句命中词:\", vec.get_feature_names_out()[X_new.toarray()[0] > 0])\nprint(\"预测:\", \"好评\" if clf.predict(X_new)[0] == 1 else \"差评\")\n```\n- 先装 sklearn和jieba：cmd 里 `pip install scikit-learn` \n                                                   `pip install jieba`（慢就加清华源）\n- 运行\n- ✅ 预期看到：`预测: 好评`\n\n**过关**：能跑出\"好评\" = Section 4 完成。\n\n---\n\n## Section 5 · SVM \u002F 逻辑回归 \u002F Softmax（术语认识）\n\n**Subsection 1 · 记三个术语**\nB 站搜 `SVM 支持向量机 通俗` 和 `softmax 通俗` 各看 10 分钟。记：\n```\nSVM       找一个\"分界线\"把两类尽量分开，分界线离两边都最远\n逻辑回归  输出一个 0~1 的概率（比如 0.8 = 80% 好评）\nSoftmax   把一组分数变成一组\"加起来=1\"的概率，大模型最后一步用它选词\n```\n- 💡 **Softmax 最重要**：大模型生成下一个词，就是拿所有词的分数过一遍 Softmax，挑概率最高的。\n\n**Subsection 2 · 过关自测**\n能回答：① SVM 干嘛的 ② Softmax 输出有什么特点（加起来=1）。\n答得出 = Section 5 完成。\n\n---\n\n## Section 6 · 神经网络基础（感知机到多层）\n\n**Subsection 1 · 看视频**\nB 站搜 `神经网络 工作原理 3Blue1Brown` 看前 3 集（每集 10 分钟左右，讲得最清楚）。\n- 记：\n```\n神经元   一个\"小函数\"：输入×权重 + 偏置 → 激活函数 → 输出\n多层网络  很多神经元分层连接，能学复杂模式\n反向传播  根据\"错多少\"从后往前调权重，让模型越来越准\n```\n\n**Subsection 2 · 一句话总结**\n备忘录写：\n> 神经网络 = 一堆带权重的神经元堆叠；训练 = 反复\"做题-看错多少-调权重\"，直到答对。\n\n**过关**：能解释\"训练就是调权重\" = Section 6 完成。\n\n---\n\n## Section 7 · 词向量进化史（面试高频）\n\n**Subsection 1 · 记时间线**\nB 站搜 `词向量 word2vec BERT 区别` 看 20 分钟。记：\n```\nTF-IDF     每个词一个\"出现次数\"数字 → 看不出意思\nWord2Vec   每个词一个向量 → \"国王-男人+女人≈女王\"（向量能算关系）\nGloVe      类似 Word2Vec，用共现统计\nELMo       同一个词在不同句子给不同向量（第一次\"上下文相关\"）\nBERT       Transformer 编码 → 每个词根据整句理解 → 大模型前身\n```\n- 💡 一句话：**从\"一个词一个死向量\"到\"一个词根据上下文活向量\"**。\n\n**Subsection 2 · 过关自测**\n能说出：① 词向量能算\"国王-男人+女人\"意味着什么 ② BERT 比 Word2Vec 强在哪。\n答得出 = Section 7 完成。\n\n---\n\n## Section 8 · RNN \u002F LSTM（认识即可）\n\n**Subsection 1 · 记两个词**\nB 站搜 `RNN LSTM 区别 通俗` 看 20 分钟。记：\n```\nRNN   逐个读序列，但\"记不住太远的\"（读到后面忘前面）\nLSTM  加了\"记忆闸门\"，能记住长时间信息 → 被 Transformer 取代\n```\n- 💡 现在主流已经是 Transformer，RNN\u002FLSTM 面试可能问，知道\"是什么、被谁取代\"就够。\n\n**Subsection 2 · 过关自测**\n能说\"RNN 的问题是什么、谁取代了它\" = Section 8 完成。\n\n---\n\n## Section 9 · 预训练与分布式训练（概念）\n\n**Subsection 1 · 记概念**\nB 站搜 `大模型 预训练 分布式训练` 看 20 分钟。记：\n```\n预训练       在海量文本上学\"预测下一个词\"，吸收通用知识\n分布式训练   一个模型太大，一台机器放不下 → 多台 GPU 分工\n- 数据并行  每台存同一模型，分不同数据\n- 模型并行  模型拆开放多台\n- 流水线并行 分层给不同机器，像流水线\n```\n\n**Subsection 2 · 过关自测**\n能说\"为什么大模型必须分布式训练\" = Section 9 完成。\n\n---\n\n## Section 10 · 推理规划：思维链 CoT（面试必考）\n\n**Subsection 1 · 亲手试一次思维链**\n打开 DeepSeek，输入：\n```\nQ: 商店有 15 个苹果，卖出 7 个，又进货 5 个，现在有几个？请一步步推理再给答案。\n```\n- ✅ 预期看到：模型先写\"15-7=8，8+5=13\"，再给答案 13。\n- 再试不给\"一步步推理\"的版本，对比。\n- 💡 这就是 **CoT（Chain-of-Thought，思维链）**：让模型把推理过程写出来，答案更准。\n\n**Subsection 2 · 记两个进阶词**\n```\nLeast-to-Most   先解决简单子问题，再解决难问题（由少至多）\n思维树 ToT      不只一条链，而是分叉探索多条路再挑最好的\n```\n\n**过关**：能说清\"CoT 为什么让模型更准\" = Section 10 完成。\n\n---\n\n## Section 11 · LLM 加速技术（记住名字和用途）\n\n**Subsection 1 · 记四个加速技术**\nB 站搜 `FlashAttention PagedAttention 原理` 看 20 分钟。记：\n```\nFlashAttention   优化注意力计算，快且省显存\nPagedAttention   显存像内存分页一样管理，不浪费（vLLM 的核心）\nCPU 推理         显存不够时用内存\u002FCPU 跑（慢但能跑）\n推理优化框架     vLLM \u002F TensorRT-LLM 等，把这些技术打包好\n```\n- 💡 你不用实现它们，但要能在面试时说出\"解决什么问题\"。\n\n**Subsection 2 · 过关自测**\n能说出 FlashAttention 和 PagedAttention 各解决什么问题 = Section 11 完成。\n\n---\n\n## Section 12 · 强化学习基础 + 站 2B 验收\n\n**Subsection 1 · 记 RL 四件套**\nB 站搜 `强化学习 入门 通俗 大模型` 看 30 分钟。记：\n```\nQ-learning        教 agent\"在某个状态做哪个动作收益最高\"，记成一张表\nDQN               用神经网络代替那张表（深度 Q 网络）\nPolicy Gradient   直接学\"怎么选动作\"，做得好的动作概率调大\nActor-Critic      两个网络配合：Actor 选动作，Critic 打分\n```\n- 💡 大模型里的 **RLHF** 就是：先让模型说人话（SFT），再让奖励模型打分，用 **PPO**（Actor-Critic 家族）调优。这个 Part 4 · Section 25 会串起来。\n\n**Subsection 2 · Part 3 验收勾选**\n- [ ] 能说出线性代数 4 个基础词（标量\u002F向量\u002F矩阵\u002F点积）\n- [ ] 能解释贝叶斯\u002F条件概率，并能对号入座三类机器学习\n- [ ] 跑通了朴素贝叶斯文本分类（Section 4）\n- [ ] 能说出 SVM \u002F 逻辑回归 \u002F Softmax 各自作用\n- [ ] 能解释\"神经网络训练 = 调权重\"（反向传播）\n- [ ] 能画出词向量进化线（TF-IDF → Word2Vec → ELMo → BERT）\n- [ ] 能说 RNN 的缺点和替代者\n- [ ] 能说分布式训练为什么必要\n- [ ] 能演示一次思维链 CoT 并解释\n- [ ] 能说出 FlashAttention \u002F PagedAttention 解决什么问题\n- [ ] 能说出强化学习四件套 + RLHF\u002FPPO 在其中的位置\n\n**全勾选 = Part 3 通过** → 进入下一站 **Part 4 · 大模型原理 · 进阶可选**（从零写迷你模型 + RLHF 精读）。\n\n---",3,[14,20,25,26,33,39,45,51,56,62,68,75,81,87,93,99,105,111,117,123,129],{"id":15,"slug":16,"title":17,"description":18,"level":8,"topic":19,"url":10,"content":10,"sortOrder":15},1,"part-1-llm-basics","Part 1 · 大模型基础认知","小白零基础友好。这一站不写代码，只建立\"大模型到底是什么\"的骨架。","大模型认知",{"id":21,"slug":22,"title":23,"description":24,"level":8,"topic":9,"url":10,"content":10,"sortOrder":21},2,"part-2-llm-principles","Part 2 · 大模型原理 · 入门实操","这一站不卷数学，只把\"理解模型所需的知识\"讲透。；站 2A 解决\"理解模型\"，站 2B 解决\"面试能答\"。；这一层是\"有余力再做\"，不做也不影响你进入站 3。",{"id":4,"slug":5,"title":6,"description":7,"level":8,"topic":9,"url":10,"content":10,"sortOrder":12},{"id":27,"slug":28,"title":29,"description":30,"level":31,"topic":9,"url":10,"content":10,"sortOrder":32},101,"part-4-llm-principles-advanced","Part 4 · 大模型原理 · 进阶可选","从零写迷你模型、RLHF、PPO、分布式训练实操等进阶内容","INTERMEDIATE",4,{"id":12,"slug":34,"title":35,"description":36,"level":8,"topic":37,"url":10,"content":10,"sortOrder":38},"part-5-prompt-engineering","Part 5 · Prompt 提示词工程","从这里开始，你每天都要真的调大模型 API。","提示工程",5,{"id":32,"slug":40,"title":41,"description":42,"level":8,"topic":43,"url":10,"content":10,"sortOrder":44},"part-6-llm-api","Part 6 · 大模型 API 调用","站 3 你已经调通了 API。这一站把\"调用\"做成专业水准：","API 工程",6,{"id":38,"slug":46,"title":47,"description":48,"level":31,"topic":49,"url":10,"content":10,"sortOrder":50},"part-7-rag","Part 7 · RAG 检索增强生成","这一站是\"能落地\"的关键：让模型回答**你的私有知识**。","RAG",7,{"id":44,"slug":52,"title":53,"description":54,"level":31,"topic":49,"url":10,"content":10,"sortOrder":55},"part-8-rag-optimization","Part 8 · RAG 优化与评估","站 5 你做出了\"能跑\"的 RAG。这一站把它做到\"能打\"：",8,{"id":50,"slug":57,"title":58,"description":59,"level":31,"topic":60,"url":10,"content":10,"sortOrder":61},"part-9-langchain","Part 9 · LangChain 框架","目标：用 LangChain 把\"模型、提示词、检索、记忆、工具\"串成可复用的链和 Agent。","LangChain",9,{"id":55,"slug":63,"title":64,"description":65,"level":31,"topic":66,"url":10,"content":10,"sortOrder":67},"part-10-agent","Part 10 · Agent 基础","让模型从\"会聊天\"变成\"能干活\"：自己拆任务、调工具、看结果、再行动。","Agent",10,{"id":61,"slug":69,"title":70,"description":71,"level":72,"topic":73,"url":10,"content":10,"sortOrder":74},"part-11-multi-agent","Part 11 · 多 Agent 与 Agent IDE","从\"单个 Agent\"升级到\"多 Agent 协作\"，并掌握 AutoGen \u002F LangGraph \u002F GPTs \u002F Coze \u002F Dify 五个工具。","ADVANCED","多 Agent",11,{"id":67,"slug":76,"title":77,"description":78,"level":72,"topic":79,"url":10,"content":10,"sortOrder":80},"part-12-llamaindex","Part 12 · LlamaIndex","站 5~7 你用了 LangChain 做 RAG。LlamaIndex 是另一条专攻\"数据 + LLM\"的路线。","LlamaIndex",12,{"id":74,"slug":82,"title":83,"description":84,"level":72,"topic":85,"url":10,"content":10,"sortOrder":86},"part-13-transformer","Part 13 · Transformer 深入","站 2A 建立了直觉，这一站把手写代码跑通——从\"懂概念\"到\"写得出\"。","Transformer",13,{"id":80,"slug":88,"title":89,"description":90,"level":72,"topic":91,"url":10,"content":10,"sortOrder":92},"part-14-open-models","Part 14 · 开源模型与私有化部署","目标：把主流开源模型在本地\u002F服务器跑通，理解服务化工程（显存、量化、并发）。","模型部署",14,{"id":86,"slug":94,"title":95,"description":96,"level":72,"topic":97,"url":10,"content":10,"sortOrder":98},"part-15-finetuning","Part 15 · 模型微调 Fine-Tuning","目标：理解\"什么时候必须微调、怎么选基座、怎么备数据\"，并完整跑通一次业务微调。","微调",15,{"id":92,"slug":100,"title":101,"description":102,"level":72,"topic":103,"url":10,"content":10,"sortOrder":104},"part-16-peft-lora","Part 16 · PEFT 参数高效微调","重点吃透 **LoRA**：用极少量可训练参数微调大模型（消费级显卡就能跑）。","PEFT\u002FLoRA",16,{"id":98,"slug":106,"title":107,"description":108,"level":72,"topic":109,"url":10,"content":10,"sortOrder":110},"part-17-quantization","Part 17 · 模型量化","目标：理解\"为什么量化、主流算法各自思路\"，能动手量化并评估效果。","量化",17,{"id":104,"slug":112,"title":113,"description":114,"level":72,"topic":115,"url":10,"content":10,"sortOrder":116},"part-18-data-evaluation","Part 18 · 训练数据与模型评估","数据决定模型上限，评估决定你\"能不能交付\"。","数据与评估",18,{"id":110,"slug":118,"title":119,"description":120,"level":72,"topic":121,"url":10,"content":10,"sortOrder":122},"part-19-multimodal","Part 19 · 多模态应用","让 AI 同时\"看得懂图、听得了音、说得出话\"。","多模态",19,{"id":116,"slug":124,"title":125,"description":126,"level":72,"topic":127,"url":10,"content":10,"sortOrder":128},"part-20-projects-career","Part 20 · 项目实战 + 求职备战","把 0→1 到 1→100 学到的全部收敛成**能展示、能讲、能面试**的项目。","项目与求职",20,{"id":130,"slug":131,"title":132,"description":133,"level":72,"topic":134,"url":10,"content":10,"sortOrder":135},102,"extra-2026-ai-tech","额外篇 · 2026 年 AI 应用开发必学的 5 项成熟技术","从近半年爆发的技术里，挑出已经过了尝鲜期、能真正用在项目里的 5 项：推理模型、MCP、多模态、GraphRAG、AI 编程工具链，每项都给到能跑通的代码。","AI 工程实践",21]