手搓一个极小的 MLP,看它学会 XOR
上一篇写的是工具,这篇换个题目:动手做一个能一眼看完的 MLP,把它学 XOR 的过程直接画出来。
线性模型解决不了 XOR。一条直线摆在哪里,都会把对角的两类点切错。这句话在书上是一行字,但我想亲眼看到「加一层隐藏层」到底改变了什么。
所以有了下面这个页面:160 个点、2 个输入、6 个 tanh 神经元、1 个 sigmoid 输出。前向和反向传播都是手写的 JS,没有 TensorFlow,也没有 PyTorch。点在四个象限里随机撒,离坐标轴留了一点空隙,免得两类点贴在一起。
蓝点是 x₁、x₂ 同号(第一、三象限),橙点是异号(第二、四象限)。背景的颜色就是网络对每个位置给出的概率,白色过渡带在 0.5 附近。
怎么玩
三件事,按顺序做一遍就懂了:
- 点「开始训练」:背景从一道随机的分界,慢慢弯成一个 X。蓝色和橙色各自连成一片。
- 把「隐藏层」关掉,再训练一次:损失停在 0.68~0.69,背景几乎不分区。这就是没有隐藏层的极限。
- 点「重置」:换一组随机初始权重再练。每次弯出来的 X 不完全一样。
网络图不是装饰。线的粗细是权重绝对值,青色是正权重,玫红是负权重;训练时线在变粗、变向,就是网络在改自己。
它到底在算什么
输入一个点(x₁, x₂),先过 6 个 tanh:
1
2
3
h = tanh(W₁x + b₁)
p = σ(w₂ᵀh + b₂)
L = -[y log p + (1 - y) log(1 - p)]
反向传播也就三行:
1
2
3
δ_out = p - y
δ_h = (δ_out · w₂) ⊙ (1 - h²)
W₁ -= lr · δ_h xᵀ
每次拿全部 160 个点算一遍梯度,学习率 1.0,一帧走 3 轮。损失低于 0.02 就停。
关掉隐藏层,损失卡在 0.69
没有隐藏层时,模型就退化成:
1
p = σ(w₁x₁ + w₂x₂ + b)
这是一个线性分类器。它能把平面分开的方式只有一条直线,所以背景只能是一整片平滑渐变;对 XOR 来说,这条线不管摆在哪都会切错。
XOR 的两类点在对角线上交错:(+,+) 和 (-,-) 是一类,(+,-) 和 (-,+) 是另一类。一条直线没法把它们分到两边。损失停在 ln 2 ≈ 0.693,基本等于抛硬币。
加上 6 个 tanh 之后,每个隐藏神经元先对输入做一次「软切分」,输出层再把这些切分加权拼起来。一个神经元切一刀,几个神经元就能围出一个角。背景里的 X,就是这些切分叠出来的。
为什么是 6 个
2 个理论上够:两刀交叉,四个象限。但随机初始化时,2 个神经元更容易卡在坏解上。6 个是留余量,跑几十次基本都能收敛,不是调出来的最优值。
脚本里的 HID 改成 2,刷新几次能看到它偶尔学不会;改成 1,它一定学不会。这比盯着公式看直观。
简化了哪些东西
- 只有二维,只有 160 个点
- 全批量梯度下降,没有 mini-batch、Adam、正则化、dropout
- 固定学习率 1.0,固定 6 个隐藏神经元
- 没有训练集/测试集,画出来的就是训练集上的分界
这不是训练大模型的写法。它只是把「前向 → 损失 → 反向 → 更新」这条链子完整摊开,每一步都能在浏览器里看到。
代码
整个演示在 assets/demo/mlp.html,一个文件,没有依赖。直接打开也能玩;嵌在文章里时,它会把高度和主题告诉父页面。
脚本开头几个常量就是全部旋钮:
1
2
3
var HID = 6; // 隐藏神经元个数
var LR = 1.0; // 学习率
var EPOCHS_PER_FRAME = 3; // 每帧训练几轮
改完刷新,就能看到不一样的结果。
写完回头看,这个 demo 最有用的地方不是「MLP 能学会 XOR」——这句话书上有。是关掉隐藏层的那一下:损失停在 0.69,背景几乎不分区,而你知道这不是没训练够,是结构上就不可能。