LLEDA——终身自监督域适应
机器学习
2023-08-08 v3 计算机视觉与模式识别
摘要
人类与动物具有在生命周期内持续学习新信息而不丢失已获知识的能力。然而人工神经网络对此存在困难，因为新信息与旧知识冲突会导致灾难性遗忘。互补学习系统（CLS）理论指出，海马体与新皮层系统间的相互作用使哺乳动物大脑实现长期高效学习，其中记忆回放促进两系统交互以减少遗忘。所提出的终身自监督域适应（LLEDA）框架受 CLS 理论启发，模拟两个网络间的交互：受海马体启发的 DA 网络快速适应数据分布变化，以及受新皮层启发的 SSL 网络逐步学习域无关通用表征。LLEDA 的潜空间回放技术通过重新激活并回放过往记忆的潜表征来促进两网络间通信，从而稳定长期泛化与记忆保留，且不干扰已学信息。大量实验表明，所提方法优于多种其他方法，在实现长期适应的同时，迁移至新域时更不易发生灾难性遗忘。
引用
@article{arxiv.2211.09027,
title = {LLEDA -- Lifelong Self-Supervised Domain Adaptation},
author = {Mamatha Thota and Dewei Yi and Georgios Leontidis},
journal= {arXiv preprint arXiv:2211.09027},
year = {2023}
}
备注
19 pages, 6 figures, 6 tables; V2 added more experiments on more domains and fixed typos