存在虚假相关性时的持续学习
机器学习
2023-03-22 v1 人工智能
摘要
大多数持续学习（CL）算法都聚焦于解决稳定性-可塑性困境，即在学习新任务的同时防止遗忘先前任务的挑战。然而，它们忽视了当某一任务的数据集存在偏差——即从有偏数据集中学到了某些非预期的虚假相关性——时知识迁移的影响。在那种情况下，它们将如何影响未来任务的学习或已从过去任务中学到的知识？在这项工作中，我们使用一个合成数据集和两个真实世界数据集仔细设计了系统性实验，以从我们的经验发现中回答该问题。具体而言，我们首先通过双任务 CL 实验表明，未察觉数据集偏差的标准 CL 方法会将偏差从一个任务迁移到另一个任务，包括前向和后向，并且这种迁移会因 CL 方法侧重于稳定性还是可塑性而加剧。我们随后指出，偏差迁移在更长的任务序列中同样存在甚至累积。最后，我们提出了一种简单却强大的用于去偏感知持续学习的插件方法，称为组类平衡贪婪采样（BGS）。结果表明，我们的 BGS 总能降低 CL 模型的偏差，至多带来轻微的 CL 性能损失。
引用
@article{arxiv.2303.11863,
title = {Continual Learning in the Presence of Spurious Correlation},
author = {Donggyu Lee and Sangwon Jung and Taesup Moon},
journal= {arXiv preprint arXiv:2303.11863},
year = {2023}
}