AI 数学基础 · 渐进式学习路径（扩展版）

22 课 · 6 模块 · 约 5–6 小时 · 从向量到注意力机制，把 AI 背后的数学串成一条线

① 线性代数→② 微积分→③ 概率统计→④ 优化→⑤ 神经网络数学→⑥ 综合实战
已完成 0 / 22 课进度自动保存在浏览器中
模块 1

线性代数：数据与变换的语言

目标：看懂并会算向量和矩阵的运算，理解"神经网络的输入是向量、每一层是一次线性变换"，掌握 SVD 降维思想。

1.1

向量：AI 的数据语言

在 AI 里，一切皆向量：一张 28×28 像素的图片展平后是 784 维向量；一个词由 300 维的"词向量"表示；一个样本就是一长串数字。

x = (x1, x2, …, xn)T —— 一个 n 维向量

两个基本运算：

  • 加法：a + b = (a1+b1, a2+b2, …)，逐坐标相加
  • 数乘：λa = (λa1, λa2, …)，把向量"伸缩"

最重要的运算是内积（点积）：

a·b = a1b1 + a2b2 + … + anbn = ‖a‖·‖b‖·cos θ

以及范数（向量的"长度"）：

‖a‖2 = √(a1² + a2² + … + an²)
💡 直觉：内积 = "按位相乘再求和"。两个向量在每个坐标上同时大，内积就大 → 方向接近、"更相似"；内积为 0 表示垂直（不相关）。
🎯 AI 联系："猫"和"狗"的词向量内积很大 → 语义接近；推荐系统、向量检索（数据库）、embedding 相似度都靠内积。
✏️ 试一试：a=[1,2,3], b=[4,5,6]：a·b = 4+10+18 = 32；‖a‖ = √14 ≈ 3.74。心算验证一下。

📝 小测验：内积 a·b 越大，通常说明两个向量……

1.2

矩阵与线性变换

矩阵就是一个 m 行 × n 列的数字表格。神经网络的每一层核心就是一个矩阵 W：

y = Wx + b　（y: 输出向量，W: 权重矩阵，x: 输入向量，b: 偏置）

矩阵乘法的规则：

(AB)ij = Σk Aik·Bkj　　→　　(m×n)·(n×p) = (m×p)，"内维数"必须相同
💡 直觉：把矩阵当作一台"变形机器"：y = Wx 就是把 x 重新混合、缩放、旋转。W 的每一行，都是"用 x 算出一个新坐标"，算的正是行向量与 x 的内积。
🎯 AI 联系：W 就是模型学到的参数。W 的行列数决定参数量（输出数 × 输入数）；"训练"本质上就是不断调整 W 和 b。
✏️ 试一试：W = [[2,0],[0,2]]，x = [1,3]T → y = Wx = [2,6]T。这台"机器"做了什么？（把所有坐标放大 2 倍）

📝 小测验：一个 (3×4) 矩阵乘一个 (4×5) 矩阵，结果的形状是？

1.3

行列式、逆矩阵与特征值

三个"进阶概念"，知道直觉即可：

  • 行列式 det(W)：变换把面积/体积放大了 det 倍。det = 0 表示空间被"压扁"了（信息丢失），此时矩阵不可逆。
  • 逆矩阵 W⁻¹：满足 W⁻¹W = I，是"撤销变换"的操作。
  • 特征值：Wv = λv —— 向量 v 方向不变，只被拉伸了 λ 倍。
det(W)=0 → 不可逆；　Wv = λv → v 是特征向量，λ 是特征值
💡 直觉：特征值告诉我们一次变换"在哪些特殊方向上拉伸了多少"。
🎯 AI 联系：降维算法 PCA 就是找数据的"主要方向"（特征向量）；det 衡量某层是否丢失信息；大型网络会刻意避免直接求逆矩阵（计算代价太高）。

📝 小测验：det(W) = 0 意味着……

1.4

SVD 奇异值分解

奇异值分解（Singular Value Decomposition）把任意矩阵拆成三个"简单操作"的复合：

A = U Σ VT　　（U: 旋转，Σ: 拉伸，VT: 旋转）

其中：

  • U（m×m）：正交矩阵，列向量是 A 的左奇异向量
  • Σ（m×n 对角）：对角线上是奇异值 σ₁ ≥ σ₂ ≥ … ≥ 0，表示每个方向的"重要程度"
  • VT（n×n）：正交矩阵，行向量是 A 的右奇异向量

低秩近似：只保留前 k 个奇异值，得到 A 的最佳秩-k 近似：

Ak = Σi=1k σi ui viT
💡 直觉：SVD 告诉你"这台变形机器最重要的 k 个方向是什么"。丢弃小奇异值 = 丢弃不重要的方向 = 压缩。
🎯 AI 联系：① PCA 降维本质就是 SVD（对数据矩阵做 SVD，取前 k 个右奇异向量）；② LoRA（大模型微调）用低秩分解 ΔW = BA 近似权重更新；③ 图片压缩、推荐系统矩阵补全都依赖 SVD。
✏️ 试一试：矩阵 A = [[3,0],[0,1]] 的奇异值是 σ₁=3, σ₂=1。若只保留 σ₁，近似矩阵 [[3,0],[0,0]] 丢掉了什么？（y 方向的信息）

📝 小测验：SVD 中奇异值越大表示……

模块 2

微积分：变化的语言

目标：理解导数和链式法则，能回答"某个参数变化一点，损失会怎么变"。

2.1

导数与链式法则

导数 = 瞬时变化率，直观上就是曲线的"坡度"。

f′(x) = limΔx→0 f(x+Δx) − f(x)Δx

常用的几条（背下来就够用）：

(xn)′ = n·xn−1　　(ex)′ = ex　　(sin x)′ = cos x

链式法则（本课之王）：函数套函数时，逐层求导再相乘：

d/dx f(g(x)) = f′(g(x)) · g′(x)

例：f(x) = (2x+1)3 → f′(x) = 3(2x+1)2 · 2

神经网络的激活函数常用 sigmoid：

σ(z) = 1 / (1 + e−z)　　→　　σ′(z) = σ(z)(1 − σ(z))
💡 直觉：链式法则像传送带：把复合函数拆成小块，每块求一次导，然后把它们乘起来。
🎯 AI 联系：训练要回答"把 w 改动 ε，损失变化多少" → 就是导数。反向传播（下一课）只是把链式法则用到整张网络。

📝 小测验：f(x) = (3x − 1)² 的导数是？

2.2

偏导数与梯度

神经网络的参数不是一个、而是几百万个。对多元函数 f(x, y)，偏导数表示只沿一个方向变化的速度：

f(x,y) = x²y　→　∂f/∂x = 2xy，　∂f/∂y = x²

把所有偏导数打包成一个向量，就是梯度：

∇f = (∂f/∂x, ∂f/∂y, …, ∂f/∂xn)
💡 直觉：球在山坡上，梯度指向"上坡最快"的方向 —— 所以想下山，要朝相反方向（负梯度）走。
🎯 AI 联系：损失函数 L 关于所有参数（w₁, w₂, …, w百万）的梯度，是一个百万维向量，每个分量告诉你"这个参数该往哪个方向调"。

📝 小测验：f(x, y) = x² + y³，∂f/∂y = ？

2.3

反向传播：层层求导

看一个最简单的神经元（前向传播）：

z = wx + b　→　a = σ(z)　→　L = (a − t)²

反向传播就是把链式法则从 L 往外一层层拆：

∂L/∂w = (∂L/∂a)·(∂a/∂z)·(∂z/∂w) = 2(a−t) · σ(z)(1−σ(z)) · x
💡 直觉：链条的每一环 = 某一层的导数。网络再深，也只是把更多环串起来。
🎯 AI 联系：这就是"反向传播算法"的全部真相：前向算输出并记录中间量，反向从损失一路推回每个参数。框架里的"autograd"自动帮你做这件事。

📝 小测验：反向传播本质上是……

模块 3

概率与统计：不确定性的语言

目标：理解分布、期望、贝叶斯、熵与 KL 散度，能读懂模型输出和损失函数的含义。

3.1

概率与分布

随机变量 X 的分布列出每种取值的可能性，概率总和为 1：

0 ≤ P(A) ≤ 1　　Σ P = 1

两条基本规则：

条件概率：P(A|B) = P(A∩B) / P(B)　　独立：P(A∩B) = P(A)·P(B)
💡 直觉：分布 = 一幅"全景图"：不是单个数字，而是所有可能结果各自的可能性。
🎯 AI 联系：模型输出的 Softmax 就是一个类别分布："70% 猫、20% 狗、10% 狮子"——这叫软标签，而不是直接猜一个类。

📝 小测验：掷一次骰子，"点数 ≤ 3" 的概率是？

3.2

期望与方差

期望　E[X] = Σ xᵢ·pᵢ　（加权平均）
方差　Var(X) = E[(X − E[X])²] = E[X²] − (E[X])²　（波动程度）
💡 直觉：期望回答"平均来说会是多少"，方差回答"结果有多飘"。
🎯 AI 联系：训练目标是让数据分布上的期望误差尽量小；SGD 用随机小批量来"估计"这个期望梯度，噪声反而帮助泛化。

📝 小测验：公平骰子的期望点数 E[X] = ？

3.3

贝叶斯定理

用新证据更新旧观点：

P(A|B) = P(B|A)·P(A) / P(B)　（后验 = 似然 × 先验 ÷ 证据）

经典例子：某病患病率 P(A)=1%，检测灵敏度 P(B|A)=99%，健康者假阳性 P(B|¬A)=5%。检测阳性后真的患病的概率是？

P(A|B) = 0.01×0.99 / (0.01×0.99 + 0.99×0.05) ≈ 16.7%
💡 直觉："阳性 ≠ 一定患病"。先验概率（base rate）非常重要，这也是朴素贝叶斯、垃圾邮件过滤器的思想。
🎯 AI 联系：贝叶斯深度学习：模型参数不是固定值，而是一个分布；每次见到新数据，就从先验更新到后验。

📝 小测验：上面的检测例子中，P(A|B) ≈ ？

3.4

熵与交叉熵

熵衡量分布的"不确定程度"（单位 bit）：

H(p) = − Σ pᵢ·log₂ pᵢ　　（确定 → 0；公平硬币 → 1 bit）

交叉熵衡量"真实标签在预测分布下有多意外"，二元分类时：

L = −[ y·ln p + (1−y)·ln(1−p) ]　（y=1 时 L = −ln p）
💡 直觉：为什么用 log？真实类别的预测概率趋近 0 时（"自信地错了"），惩罚 → ∞，逼着模型不敢乱自信。
🎯 AI 联系：交叉熵是分类任务的标准损失函数（MSE 也能用，但对"自信地错"惩罚得更猛）。

📝 小测验：真实标签 y = 1 时，预测概率 q 越接近 1，交叉熵……

3.5

KL 散度（Kullback-Leibler）

KL 散度衡量两个分布之间的距离（非对称）：

DKL(P ‖ Q) = Σ P(x) · log( P(x) / Q(x) )

性质：

  • DKL(P ‖ Q) ≥ 0，当且仅当 P = Q 时为 0
  • 非对称：DKL(P ‖ Q) ≠ DKL(Q ‖ P)
  • 与交叉熵的关系：H(P, Q) = H(P) + DKL(P ‖ Q)
💡 直觉：用分布 Q 去编码真实分布 P 的数据，比"最优编码"多花了多少信息。KL = 0 → 完全一致。
🎯 AI 联系：① 知识蒸馏：学生网络的输出分布逼近教师网络 → 最小化 KL；② VAE：正则化项 = KL(后验 ‖ 先验)；③ RLHF / PPO：约束新策略不偏离参考策略太远 → KL penalty；④ 变分推断的核心目标。
✏️ 试一试：P = [0.5, 0.5], Q = [0.9, 0.1]：DKL(P‖Q) = 0.5·ln(0.5/0.9) + 0.5·ln(0.5/0.1) ≈ 0.5(−0.588) + 0.5(1.609) ≈ 0.51。

📝 小测验：KL 散度 DKL(P ‖ Q) = 0 意味着……

模块 4

优化：让模型变好的方法

目标：理解损失函数与梯度下降，能直觉地判断学习率大小是否合适，理解正则化。

4.1

损失函数：衡量"错多少"

损失函数 L 把"模型错得有多离谱"压成一个数字，越小越好：

回归：MSE = (1/n) · Σ (yᵢ − ŷᵢ)²　　分类：交叉熵（见 3.4）

一个好的损失函数要：① 模型越好值越低；② 光滑可导（这样才能用梯度下降）。

🎯 AI 联系：整个训练过程 = 最小化 L。"学习"在数学上就是优化问题。

📝 小测验：MSE 什么时候取最小值 0？

4.2

梯度下降：下山算法

梯度下降的更新规则只有一行：

θt+1 = θt − η·∇L(θt)

θ 是参数，η 是学习率（步长）。∇L 指向上坡最快方向 → 减去它就是沿下降方向走一步。

💡 直觉：像蒙眼下山：感受坡度（梯度），迈一小步（η），再感受，再迈……

🎮 交互演示：调学习率 η，看小球怎么下山

曲线：
学习率 η =0.40
速度（步/秒） =20
x = 2.500, f(x) = 6.250, 步数 = 0

试试把 η 调到 1.5 或 2.0 再看一遍——发生了什么？

📝 小测验：θ ← θ − η∇L 本质上是在……

4.3

学习率与优化器

  • η 太小：慢得像蜗牛，收敛太慢；η 太大：一步迈过谷底，震荡甚至发散（上面的演示里见过）。
  • SGD（随机梯度下降）：每次只用一小批（mini-batch）样本估计梯度 → 有噪声，但更省、更泛化。
  • 动量（Momentum）：给更新加"惯性"，减少震荡、冲过平缓地带。
  • Adam：给每个参数自适应地调步长，是现代网络的默认选择。
🎯 AI 联系：你几乎不需要自己发明优化器——但调学习率曲线（loss vs. 训练步数）是每个工程师的看家本领。

📝 小测验：学习率 η 太大通常会导致……

4.4

正则化：L1 与 L2

模型太复杂会"背答案"（过拟合）。正则化在损失里加一个惩罚项，逼模型"简单"：

Lreg = Loriginal + λ · Ω(W)
类型惩罚项 Ω(W)效果直觉
L2（权重衰减）‖W‖₂² = Σ wᵢ²权重趋向小而均匀把参数"往原点拉"
L1（Lasso）‖W‖₁ = Σ |wᵢ|很多权重恰好变 0自动"剪枝"不重要的连接
Dropout训练时随机丢弃神经元防止依赖单一路径相当于隐式集成
💡 直觉：L2 像"弹性绳"把参数拉向 0；L1 像"硬阈值"——不够重要的直接归零。λ 控制惩罚力度。
🎯 AI 联系：① 几乎所有现代网络都用 weight decay（L2）；② L1 用于稀疏模型 / 特征选择；③ Dropout 是 CNN / Transformer 标配；④ 大模型微调的 LoRA 本身就是一种低秩正则化。

📝 小测验：L1 正则化最显著的效果是……

模块 5

神经网络数学：核心组件推导

目标：理解 Softmax、激活函数、卷积、注意力机制背后的数学，不再把网络当黑箱。

5.1

Softmax 推导与性质

Softmax 把一组任意实数（logits）变成一组概率分布：

softmax(zi) = ezi / Σj ezj

为什么这样设计？

  • ez > 0 → 保证输出非负
  • 除以总和 → 保证概率和为 1
  • 指数放大差异 → 最大的 logit 获得最高概率（"赢家通吃"倾向）

数值稳定技巧：先减去最大值再算指数，避免溢出：

softmax(zi) = ezi − zmax / Σj ezj − zmax

温度参数 τ：控制"自信程度"：

softmax(zi/τ)　　τ→0 → 变成 argmax（硬选择）；τ→∞ → 均匀分布
💡 直觉：Softmax = "把分数变成投票比例"。温度高 → 投票分散（不确定）；温度低 → 赢家通吃（很自信）。
🎯 AI 联系：① 分类模型的最后一层；② 注意力权重计算（见 5.4）；③ LLM 生成时采样温度 τ 控制创造性；④ 知识蒸馏中教师/学生都用 Softmax 输出分布。
✏️ 试一试：z = [2, 1, 0]：e²=7.39, e¹=2.72, e⁰=1 → 总和 11.11 → softmax = [0.665, 0.245, 0.090]。

📝 小测验：Softmax 输出中，哪个分量最大？

5.2

激活函数比较

激活函数给网络引入非线性——没有它，多层线性变换等价于一层。

函数公式导数优缺点
Sigmoidσ(z) = 1/(1+e−z)σ(z)(1−σ(z))输出 (0,1)；但 z 大时导数→0（梯度消失）
Tanhtanh(z) = (ez−e−z)/(ez+e−z)1 − tanh²(z)输出 (−1,1)，零中心；仍有梯度消失
ReLUmax(0, z)1 (z>0), 0 (z≤0)计算快、缓解梯度消失；但 z<0 时梯度=0（"死神经元"）
Leaky ReLUmax(0.01z, z)1 或 0.01解决"死神经元"
GELUz·Φ(z)（Φ 为标准正态 CDF）≈ 光滑过渡Transformer 默认激活
💡 直觉：ReLU 像"开关"——正信号通过，负信号截断。GELU 像"软开关"——过渡更平滑，训练更稳定。
🎯 AI 联系：CNN / MLP 默认 ReLU；Transformer / LLM 默认 GELU 或 Swish；Sigmoid 仍用于二分类输出层和门控机制（LSTM / GRU）。

📝 小测验：ReLU(z) = max(0, z) 在 z = −3 时的导数是？

5.3

卷积的数学

卷积（Convolution）是 CNN 的核心运算。对离散信号：

(f * g)(t) = Σk f(k) · g(t − k)

在 CNN 里，"卷积"实际是互相关（cross-correlation）——用滤波器核 K 在输入 X 上滑动：

Y[i,j] = Σm Σn X[i+m, j+n] · K[m, n]

关键参数：

  • 核大小（如 3×3）：感受野，决定"看多大范围"
  • 步幅（stride）：滑动间隔，控制输出尺寸
  • 填充（padding）：边界补零，保持尺寸
  • 通道数：每个核"看"所有输入通道，输出多个特征图

输出尺寸公式：

out = ⌊(in − kernel + 2·padding) / stride⌋ + 1
💡 直觉：卷积核 = "局部模式探测器"。3×3 核在图像上滑动，每次问"这 3×3 小块长什么样？"。多个核 = 多种模式（边缘、纹理、形状）。
🎯 AI 联系：① 卷积的权重共享让参数量远小于全连接层；② 感受野逐层扩大 → 深层"看到"整张图；③ 1×1 卷积 = 跨通道的线性变换（通道混合）；④ 转置卷积（deconvolution）用于上采样 / 图像生成。
✏️ 试一试：输入 5×5，核 3×3，stride=1，padding=0 → 输出尺寸 = (5−3)/1 + 1 = 3×3。

📝 小测验：卷积核的"权重共享"意味着……

5.4

注意力机制的数学

注意力（Attention）让模型"动态地决定看哪里"。核心公式（Scaled Dot-Product Attention）：

Attention(Q, K, V) = softmax( QKT / √dk ) · V

拆解每一步：

  • Q（Query）：当前 token "我想找什么信息？"
  • K（Key）：每个 token "我是什么？"
  • V（Value）：每个 token "我能提供什么信息？"
  • QKT：内积 → 相似度矩阵（每个 query 对每个 key 的匹配度）
  • / √dk：缩放，防止内积过大导致 softmax 梯度消失
  • softmax：把相似度变成权重分布（和为 1）
  • × V：加权求和 → 每个位置得到"综合了所有相关 token"的新表示

多头注意力：h 个头并行做注意力，拼接后线性变换：

MultiHead = Concat(head₁, …, headh) · WO
💡 直觉：注意力 = "图书馆检索"：Q 是你的搜索词，K 是每本书的书名，V 是书的内容。softmax 决定"每本书借多少页"。
🎯 AI 联系：① Transformer（GPT / BERT / LLM）的核心组件；② 自注意力：Q=K=V（同一序列自己看自己）；③ 交叉注意力：Q 来自解码器，K/V 来自编码器；④ 注意力权重可视化 → 模型"在看哪里"。
✏️ 试一试：Q=[1,0], K₁=[1,0], K₂=[0,1], dk=2。QK₁ᵀ=1, QK₂ᵀ=0 → 缩放后 [1/√2, 0] ≈ [0.71, 0] → softmax ≈ [0.67, 0.33]。Q 更关注 K₁。

📝 小测验：注意力公式中除以 √dk 的目的是……

模块 6

综合实战：把一切串起来

目标：亲手推一遍前向 + 反向传播，亲眼看着参数被"训练"。

6.1

训练一个神经元

把所有模块全部串起来——一个神经元，输入 x₁, x₂，目标 t = 1.0：

前向：z = w₁x₁ + w₂x₂ + b → a = σ(z) → L = (a − t)²
反向：∂L/∂wᵢ = 2(a−t) · a(1−a) · xᵢ　　更新：wᵢ ← wᵢ − η·∂L/∂wᵢ

🎮 亲手训练：拖动权重试试，或点"训练"

w₁ =0.50
w₂ =-0.20
b =0.00
已训练 0 步
z = w₁·0.8 + w₂·0.4 + b = 0.320
a = σ(z) = 0.579
∂L/∂a = 2(a−t) = -0.841
∂a/∂z = a(1−a) = 0.244
∂L/∂w₁ = ∂L/∂a · ∂a/∂z · x₁ = -0.164
∂L/∂w₂ = ∂L/∂a · ∂a/∂z · x₂ = -0.082
∂L/∂b = ∂L/∂a · ∂a/∂z = -0.205
损失 L = 0.176

观察：每训练一步，链式法则的每个乘数实时变化，损失下降，权重自动趋向让 a→1 的值。

数学工具它在哪里出场
内积 / 矩阵乘法计算每个神经元的输入（每层的线性变换）
SVD / 特征值降维、LoRA 低秩近似、理解变换结构
链式法则反向传播求梯度
梯度告诉每个参数往哪个方向调
期望损失是数据分布上的期望误差
交叉熵 / KL 散度分类损失、知识蒸馏、VAE 正则
Softmax分类输出、注意力权重、温度采样
卷积CNN 特征提取、局部模式检测
注意力 QKVTransformer / LLM 的核心运算
正则化 L1/L2防止过拟合、稀疏化、weight decay
梯度下降把上面全部串起来的优化算法
✅ 自检清单（能全部勾选 = 本模块达标）：
  • 能手算一个小矩阵乘积和一次链式求导
  • 能说出贝叶斯公式，并解释"阳性≠患病"
  • 能写出梯度下降更新公式并解释 η 的作用
  • 能解释 Softmax 的温度参数 τ 对输出的影响
  • 能写出注意力公式并解释 Q、K、V 各自的角色
  • 能说出 L1 与 L2 正则化的区别
  • 在上面的演示中，能让损失降到 0.01 以下

📝 小测验：当 z → +∞ 时，σ(z) → ？

6.2

学习路线与资源

推荐节奏（本页顺序即是）：

  • 模块 1：配合 3Blue1Brown《线性代数的本质》看，建立几何直觉；SVD 可参考 Gilbert Strang 的讲解
  • 模块 2：复习 Khan Academy 导数章节，重点吃透链式法则
  • 模块 3：MIT 18.05 或 Khan Academy 概率章节；KL 散度参考 Cover & Thomas《信息论》第 2 章
  • 模块 4：用 Python 从零写一遍梯度下降（不用任何库）；正则化部分参考 CS231n 笔记
  • 模块 5：Softmax / 激活函数看 CS231n；卷积看 Stanford CS231n Lecture 7；注意力读原论文 "Attention Is All You Need"（2017）
  • 模块 6：跟 fast.ai / PyTorch 教程上手真实训练

精选资源：

  • 3Blue1Brown：线性代数 / 微积分 / 神经网络系列（可视化直觉极佳）
  • 《Mathematics for Machine Learning》（Deisenroth 等）：免费在线书，数学与 ML 无缝对接
  • Stanford CS229 Notes：经典机器学习课程讲义，含完整推导
  • Stanford CS231n：卷积网络与注意力机制的最佳入门课程
  • "Attention Is All You Need"（Vaswani et al., 2017）：Transformer 原论文，数学清晰
  • PyTorch Tutorial：hands-on，autograd 会帮你验证反向传播
  • 《Deep Learning》（Goodfellow 等）：第 3 章 + 数学附录，进阶圣经
  • 《Dive into Deep Learning》（d2l.ai）：免费交互式教材，含代码

动手练习建议：

  • ① 从零实现线性回归（含梯度下降，拟合 20 个带噪声的点）
  • ② 用 PyTorch 搭一个 2 层网络解决 XOR 问题
  • ③ 对同一模型调 3 个学习率，画出 loss 曲线并解释差异
  • ④ 用 NumPy 手动实现一次 3×3 卷积，与 PyTorch Conv2d 对比验证
  • ⑤ 用 4 个 token 手算一遍 Self-Attention（Q、K、V 各 2 维），验证 softmax 权重
  • ⑥ 给线性回归分别加 L1 和 L2 正则化，观察权重变化差异

📝 小测验：学完这 22 课后，下面哪个说法是正确的？