重访 Softmax 掩码：以停止梯度增强基于回放的持续学习稳定性
机器学习
2024-01-25 v2 人工智能
摘要
在基于回放的持续学习方法中，重放情景记忆中的输入样本已被证明能有效缓解灾难性遗忘。然而，带有 softmax 的交叉熵损失作为导致灾难性遗忘的潜在关键因素，尚未得到充分探究。本文分析了 softmax 的作用，并重访以负无穷进行 softmax 掩码的方法，以阐明其缓解灾难性遗忘的能力。基于分析发现，负无穷掩码 softmax 并非总是与暗知识兼容。为提升兼容性，我们提出一种通用掩码 softmax，通过调节对旧类和新类的梯度尺度来控制稳定性。我们证明，在其他基于回放的方法上应用我们的方法可取得更优性能，主要得益于在持续学习基准上增强了模型稳定性，即便缓冲区大小被设为极小值时亦然。
引用
@article{arxiv.2309.14808,
title = {Revisiting Softmax Masking: Stop Gradient for Enhancing Stability in Replay-based Continual Learning},
author = {Hoyong Kim and Minchan Kwon and Kangil Kim},
journal= {arXiv preprint arXiv:2309.14808},
year = {2024}
}