Sakana AI提出PC-ALM：一种可训练千层网络的局部学习替代反向传播方法

反向传播的生物学困境与局部学习的吸引力

反向传播（Backpropagation, BP）是一种全局性算法：必须严格按前向传播→反向传播→权重更新的顺序串行执行，各阶段相互阻塞。而生物大脑中尚未发现支持这种全网相位同步的神经机制，这持续推动学界探索更具生物合理性的局部学习替代方案，如预测编码（Predictive Coding, PC）。Sakana AI团队提出的PC-ALM（Augmented Lagrangian Predictive Coding）正是PC的一个新变体——它严格保持所有更新操作的层本地性，同时能恢复与反向传播高度对齐的信用分配信号。

传统PC为何在深层窄网络中失效？

标准PC将每一隐藏层激活视为优化变量，并对当前层激活与下层预测之间的平方误差施加惩罚。推理过程即对该能量函数进行梯度下降；学习则采用类似赫布规则的权重更新。问题在于：监督信号仅从输出层注入，需经由层层局部折衷向前“扩散”。在深度大、宽度小的网络中，信用信号在抵达输入层前已严重衰减。Innocenti等人曾将这一PC-BP性能差距形式化为宽度与深度的函数，证实当网络宽度小于深度时，差距最为显著。

PC-ALM的核心改进：增广拉格朗日与双变量迭代

PC-ALM从约束优化视角重构训练目标：最小化监督损失，同时满足每层约束 $h_i = \sigma(W_i h_{i-1})$。传统PC是对该约束问题的二次罚函数松弛；PC-ALM则采用增广拉格朗日法，在保留PC罚项的同时，为每层约束引入拉格朗日乘子 $\lambda_i \in \mathbb{R}^{d_i}$（维度与该层激活一致）。当 $\lambda = 0$ 时，PC-ALM退化为标准PC。

其推理过程包含两个完全本地的交替步骤：（1）对激活值进行原始梯度步；（2）对乘子执行对偶步 $\lambda_i \leftarrow \lambda_i + \alpha r_i$，其中 $r_i$ 是该层预测误差。理论分析表明，每个原始步等价于一个目标偏移了 $-\lambda_i/\rho$ 的标准PC步；经过T步后，权重更新作用于复合信号 $\lambda_i + \rho r_i$。研究者将此解读为每层配备了一个比例-积分（PI）控制器：预测误差为比例项，乘子为积分项。当 $\alpha = 0$ 时即为PC；当 $\alpha = \rho$ 且内层问题精确求解时，则退化为经典乘子法。

理论保证：线性网络中收敛至精确BP梯度

LeCun早在1988年即指出：约束网络在KKT点处的拉格朗日乘子等于反向传播的伴随变量（adjoint）。本研究进一步证明：在线性PC网络中，若满足谱半径稳定性条件，PC-ALM将收敛至该KKT点——激活值回归前向传播值，且每个 $\lambda_i$ 积分收敛至精确的BP伴随梯度。其逐模态稳定性条件为 $\eta_h \sigma_i^2 (2\rho + \alpha) < 4$，当 $\alpha = 0$ 时即退化为PC的原有条件。与PC单调的梯度流不同，PC-ALM的迭代矩阵具有复特征值，产生阻尼振荡；$\alpha$ 控制振荡频率，但不影响衰减速率。

实验结果：从百层到千层的稳健性能

研究团队在Fashion-MNIST和MNIST上，对宽度与深度均在8–128范围内的残差MLP进行系统性测试（采用Innocenti等人的平均场参数化，训练1个epoch）。在推理步数预算 $T = 2L$ 下，PC-ALM在所有宽度、深度及激活函数（恒等、tanh、ReLU）组合上均与BP性能持平；而标准PC在深层窄网络单元中性能急剧下降。以仓库中参考配置（宽度32、深度32、ReLU、Fashion-MNIST）为例：BP达78.66%测试准确率，PC仅为68.13%，PC-ALM达77.75%；其梯度与BP的余弦相似度亦从0.604提升至0.909。更进一步，PC-ALM成功训练了宽度32、深度1000、使用ReLU、训练5个epoch的残差MLP，在MNIST上准确率仍保持在BP水平附近（差距约2个百分点）；并在CIFAR-10上的ResNet-18、Tiny ImageNet等更多基准上全面超越PC。

开源实现与可用性

PC-ALM是一种训练方法而非模型架构，目前仅在小型图像基准上验证。其MIT许可证JAX参考实现可在CPU上运行，完整复现论文中的宽度-深度网格实验结果。代码已开源，配套论文、技术博客与GitHub仓库均已发布。