基于子空间旋转算法正则化的鲁棒双向关联记忆
机器学习
2025-11-18 v1 人工智能
摘要
使用双向反向传播（B-BP）训练的双向关联记忆（BAM）常因鲁棒性差以及对噪声和对抗性攻击高度敏感而受到限制。为此，我们提出一种新型无梯度训练算法——双向子空间旋转算法（B-SRA），显著提高了 BAM 的鲁棒性和收敛性。通过大量实验，我们确定正交权矩阵（OWM）和梯度-模式对齐（GPA）是增强 BAM 鲁棒性的关键原则。灵感来源于这些发现，我们将新的正则化策略引入 B-BP， resulting in 具有更强抗干扰和对抗性扰动能力的模型。我们进一步进行消融研究，评估不同训练策略中最具鲁棒性的配置，并评估 BAM 在各种攻击场景和记忆容量（包括 50、100 和 200 个关联对）下的性能。在所有方法中，SAME 配置（集成 OWM 和 GPA）实现了最强的韧性。总体而言，我们的结果表明 B-SRA 和提出的正则化策略导致更加稳健的关联记忆，为构建韧性神经网络结构开辟了新方向。
引用
@article{arxiv.2511.11902,
title = {Robust Bidirectional Associative Memory via Regularization Inspired by the Subspace Rotation Algorithm},
author = {Ci Lin and Tet Yeap and Iluju Kiringa and Biwei Zhang},
journal= {arXiv preprint arXiv:2511.11902},
year = {2025}
}