面向在线持续学习的自适应捷径去偏
机器学习
2023-12-15 v1 人工智能
摘要
我们提出了一种新颖的 DropTop 框架，该框架能够抑制在线持续学习（OCL）中的捷径偏置，同时适应由不断变化的环境引起的不同程度的捷径偏置。基于观察到的捷径偏置的高注意力特性，高激活特征被视为去偏候选。更重要的是，为了解决在线环境中无法获取先验知识和辅助数据的限制，两种新技术——特征图融合和自适应强度偏移——使我们能够自动确定要丢弃的候选捷径特征的适当级别和比例。在五个基准数据集上的大量实验表明，当与各种 OCL 算法结合使用时，DropTop 可使平均准确率提高高达 10.4%，并使遗忘率降低高达 63.2%。
引用
@article{arxiv.2312.08677,
title = {Adaptive Shortcut Debiasing for Online Continual Learning},
author = {Doyoung Kim and Dongmin Park and Yooju Shin and Jihwan Bang and Hwanjun Song and Jae-Gil Lee},
journal= {arXiv preprint arXiv:2312.08677},
year = {2023}
}