持续特征选择：持续学习中的虚假特征
机器学习
2022-05-27 v2 人工智能
摘要
持续学习（CL）是研究在数据分布非静态情况下如何实现无遗忘学习的研究领域。本文研究了虚假特征对持续学习算法的影响。我们证明，持续学习算法通过选择不可泛化的特征来求解任务。我们的实验强调，持续学习算法面临两个相关问题：（1）虚假特征和（2）局部虚假特征。第一个问题源于训练数据与测试数据之间的协变量偏移，而第二个问题则源于每个训练步骤中对数据的有限访问。我们通过一组一致的持续学习实验，改变虚假相关性的数量和数据分布的支持度，来研究问题（1）。我们证明问题（2）是与灾难性遗忘并列的导致持续学习性能下降的主要原因。本文通过强调（局部）虚假特征对算法能力的影响，为理解持续学习中的性能下降提供了一种不同的视角。
引用
@article{arxiv.2203.01012,
title = {Continual Feature Selection: Spurious Features in Continual Learning},
author = {Timothée Lesort},
journal= {arXiv preprint arXiv:2203.01012},
year = {2022}
}