符号对称学习规则是鲁棒的微调器
机器学习
2025-02-11 v1 人工智能
摘要
反向传播（BP）由于其有效性，一直是训练神经网络的主要方法。然而，已提出许多替代方法，广泛归类为反馈对齐。尽管这些方法在理论上具有吸引力，但它们始终低于BP的表现，导致研究兴趣的下降。本文重新审视了这些方法的作用，并探索了如何将其集成到标准神经网络训练管道中。具体而言，我们提出使用符号对称学习规则对BP预训练模型进行微调，并表明这种方法不仅在性能上与BP持平，而且在鲁棒性方面具有优势。通过在多个任务和基准上的广泛实验，我们确立了该方法的有效性。我们的发现引入了一种新的视角，为在深度学习中利用生物学启发的学习规则开辟了新的研究方向。
引用
@article{arxiv.2502.05925,
title = {Sign-Symmetry Learning Rules are Robust Fine-Tuners},
author = {Aymene Berriche and Mehdi Zakaria Adjal and Riyadh Baghdadi},
journal= {arXiv preprint arXiv:2502.05925},
year = {2025}
}