Part 4 · 大模型原理 · 进阶可选

import torchimport torch.nn as nn# 超简单的"语言模型"：根据前一个词预测下一个词torch.manual_seed(42)# 一个小词表：一句话 "我 爱 吃 苹果"vocab = ["我", "爱", "吃", "苹果"]word2idx = {w: i for i, w in enumerate(vocab)}idx2word = {i: w for i, w in enumerate(vocab)}vocab_size = len(vocab)# 用"爱吃"预测"苹果"：输入 [爱, 吃] 的索引X = torch.tensor([[word2idx["爱"]], [word2idx["吃"]]])y = torch.tensor([word2idx["吃"], word2idx["苹果"]])# 一个 Embedding + 一个线性层 = 最简"预测下一个词"emb = nn.Embedding(vocab_size, 8)fc = nn.Linear(8, vocab_size)loss_fn = nn.CrossEntropyLoss()opt = torch.optim.Adam(list(emb.parameters()) + list(fc.parameters()), lr=0.05)# 训练 200 轮for step in range(200):    e = emb(X)              # (2,8)    logits = fc(e).squeeze(1)  # (2,4)    loss = loss_fn(logits, y)    opt.zero_grad()    loss.backward()    opt.step()    if step % 50 == 0:        print(f"step {step} loss={loss.item():.3f}")# 测试：输入"爱"，模型预测下一个词test = torch.tensor([[word2idx["爱"]]])logits = fc(emb(test)).squeeze(1)pred_idx = logits.argmax().item()print("看到'爱'，模型预测下一个词是:", idx2word[pred_idx])

import torchimport torch.nn as nn# 这次用"窗口"：根据前面 N 个词预测下一个torch.manual_seed(0)vocab = ["我", "爱", "吃", "苹果", "和", "香蕉", "。"]# 训练句子（简化版）sentences = [    ["我", "爱", "吃", "苹果"],    ["我", "爱", "吃", "香蕉"],    ["苹果", "和", "香蕉", "。"],]# 构造输入窗口=3X, y = [], []for s in sentences:    for i in range(len(s) - 3):        X.append([vocab.index(s[i]), vocab.index(s[i+1]), vocab.index(s[i+2])])        y.append(vocab.index(s[i+3]))X = torch.tensor(X)y = torch.tensor(y)emb = nn.Embedding(len(vocab), 16)fc = nn.Linear(16 * 3, len(vocab))loss_fn = nn.CrossEntropyLoss()opt = torch.optim.Adam(list(emb.parameters()) + list(fc.parameters()), lr=0.03)for step in range(500):    e = emb(X).view(X.shape[0], -1)   # 把 3 个词的向量拼一起    logits = fc(e)    loss = loss_fn(logits, y)    opt.zero_grad(); loss.backward(); opt.step()    if step % 100 == 0:        print(f"step {step} loss={loss.item():.3f}")# 测试 "我爱吃" → ？test = torch.tensor([[vocab.index("我"), vocab.index("爱"), vocab.index("吃")]])e = emb(test).view(1, -1)pred = fc(e).argmax().item()print("看到'我爱吃'，预测下一个词:", vocab[pred])

第1步 SFT  找人工写好"问题→好回答"，微调模型 → 会说人话第2步 奖励模型  让模型同时给多个回答，人工排序，训练一个"打分器"第3步 PPO  用打分器给模型的回答打分，通过强化学习把高分行为放大结果 → 模型更"听话"、更少乱说（对齐人类偏好）

PPO = 一种强化学习算法直觉：让模型多做"被奖励的行为"，但每次改一点点（不剧烈），防止越改越乱"近端策略优化" = 新的策略和旧策略别差太远

数据并行   一台机器存一个模型副本，各算各的数据，最后同步梯度模型并行   一个模型太大，拆开放在多张卡流水线并行 层按顺序分给多张卡，像工厂流水线