基于双伪逆与优化隐藏激活的原型训练方法

我们提出了一种名为 Proto-PINV+H 的快速训练范式，将闭形式权重计算与梯度优化少量合成输入、软标签和——关键在于——隐藏激活相结合。在每一次迭代中，我们通过两个（或更多）岭正则化伪逆求解来重新计算所有权重矩阵，同时仅对原型使用 Adam 进行更新。由此可见，可训练的自由度从权重空间转移到数据/激活空间。在 MNIST（60,000 训练样本，10,000 测试样本）和 Fashion-MNIST（60,000 训练样本，10,000 测试样本）上，我们的方法分别在官方 10,000 测试集上达到 97.8% 和 89.3% 的测试准确率，仅用约 130,000 个可训练参数和 250 个 epoch 即可在 RTX 5060（16GB）上完成 3.9 秒至 4.5 秒的训练。我们提供了多层扩展（每个隐藏阶段优化激活）、可学习的岭参数、可选的 PCA/PLS 投影，并提供了将原型矩阵条件数与泛化性联系起来的理论分析。该方法在 ELM、随机特征岭以及由反向传播训练的浅层 MLP 等方法中，展现出优越的准确率-速度-规模权衡。