基于 Wasserstein 距离与 barycenter 的拓扑持续学习
机器学习
2022-10-07 v1
摘要
神经网络中的持续学习（continual learning）遭受一种称为灾难性遗忘的现象，即网络会快速遗忘先前任务中学到的内容。然而，人脑能够持续学习新任务并在一生中积累知识。神经科学发现表明，人脑持续学习的成功可能与其模块化结构与记忆巩固机制有关。在本文中，我们提出一种新颖的拓扑正则化，利用持久同调（persistent homology）与最优传输（optimal transport）的原理性理论，在训练期间惩罚神经网络中的循环结构。该惩罚鼓励网络在训练期间学习模块化结构。惩罚基于网络 1-骨架表示的拓扑特征的 Wasserstein 距离与 barycenter 的闭式表达式。我们的拓扑持续学习方法将所提出的正则化与极小的情景记忆相结合以缓解遗忘。我们证明了我们的方法在多个图像分类数据集的浅层与深层网络架构中均有效。
引用
@article{arxiv.2210.02661,
title = {Topological Continual Learning with Wasserstein Distance and Barycenter},
author = {Tananun Songdechakraiwut and Xiaoshuang Yin and Barry D. Van Veen},
journal= {arXiv preprint arXiv:2210.02661},
year = {2022}
}