文章

手搓一个极小的 MLP,看它学会 XOR

手搓一个极小的 MLP,看它学会 XOR

上一篇写的是工具,这篇换个题目:动手做一个能一眼看完的 MLP,把它学 XOR 的过程直接画出来。

线性模型解决不了 XOR。一条直线摆在哪里,都会把对角的两类点切错。这句话在书上是一行字,但我想亲眼看到「加一层隐藏层」到底改变了什么。

所以有了下面这个页面:160 个点、2 个输入、6 个 tanh 神经元、1 个 sigmoid 输出。前向和反向传播都是手写的 JS,没有 TensorFlow,也没有 PyTorch。点在四个象限里随机撒,离坐标轴留了一点空隙,免得两类点贴在一起。

蓝点是 x₁、x₂ 同号(第一、三象限),橙点是异号(第二、四象限)。背景的颜色就是网络对每个位置给出的概率,白色过渡带在 0.5 附近。

怎么玩

三件事,按顺序做一遍就懂了:

  • 点「开始训练」:背景从一道随机的分界,慢慢弯成一个 X。蓝色和橙色各自连成一片。
  • 把「隐藏层」关掉,再训练一次:损失停在 0.68~0.69,背景几乎不分区。这就是没有隐藏层的极限。
  • 点「重置」:换一组随机初始权重再练。每次弯出来的 X 不完全一样。

网络图不是装饰。线的粗细是权重绝对值,青色是正权重,玫红是负权重;训练时线在变粗、变向,就是网络在改自己。

它到底在算什么

输入一个点(x₁, x₂),先过 6 个 tanh:

1
2
3
h = tanh(W₁x + b₁)
p = σ(w₂ᵀh + b₂)
L = -[y log p + (1 - y) log(1 - p)]

反向传播也就三行:

1
2
3
δ_out = p - y
δ_h   = (δ_out · w₂) ⊙ (1 - h²)
W₁   -= lr · δ_h xᵀ

每次拿全部 160 个点算一遍梯度,学习率 1.0,一帧走 3 轮。损失低于 0.02 就停。

关掉隐藏层,损失卡在 0.69

没有隐藏层时,模型就退化成:

1
p = σ(w₁x₁ + w₂x₂ + b)

这是一个线性分类器。它能把平面分开的方式只有一条直线,所以背景只能是一整片平滑渐变;对 XOR 来说,这条线不管摆在哪都会切错。

XOR 的两类点在对角线上交错:(+,+) 和 (-,-) 是一类,(+,-) 和 (-,+) 是另一类。一条直线没法把它们分到两边。损失停在 ln 2 ≈ 0.693,基本等于抛硬币。

加上 6 个 tanh 之后,每个隐藏神经元先对输入做一次「软切分」,输出层再把这些切分加权拼起来。一个神经元切一刀,几个神经元就能围出一个角。背景里的 X,就是这些切分叠出来的。

为什么是 6 个

2 个理论上够:两刀交叉,四个象限。但随机初始化时,2 个神经元更容易卡在坏解上。6 个是留余量,跑几十次基本都能收敛,不是调出来的最优值。

脚本里的 HID 改成 2,刷新几次能看到它偶尔学不会;改成 1,它一定学不会。这比盯着公式看直观。

简化了哪些东西

  • 只有二维,只有 160 个点
  • 全批量梯度下降,没有 mini-batch、Adam、正则化、dropout
  • 固定学习率 1.0,固定 6 个隐藏神经元
  • 没有训练集/测试集,画出来的就是训练集上的分界

这不是训练大模型的写法。它只是把「前向 → 损失 → 反向 → 更新」这条链子完整摊开,每一步都能在浏览器里看到。

代码

整个演示在 assets/demo/mlp.html,一个文件,没有依赖。直接打开也能玩;嵌在文章里时,它会把高度和主题告诉父页面。

脚本开头几个常量就是全部旋钮:

1
2
3
var HID = 6;                  // 隐藏神经元个数
var LR = 1.0;                 // 学习率
var EPOCHS_PER_FRAME = 3;     // 每帧训练几轮

改完刷新,就能看到不一样的结果。


写完回头看,这个 demo 最有用的地方不是「MLP 能学会 XOR」——这句话书上有。是关掉隐藏层的那一下:损失停在 0.69,背景几乎不分区,而你知道这不是没训练够,是结构上就不可能。

本文由作者按照 CC BY 4.0 进行授权