平衡类增量学习中的因果效应
机器学习
2024-02-16 v1
摘要
类增量学习（CIL）是实现通用人工智能的一个实用且具有挑战性的问题。最近，预训练模型（PTMs）在视觉和自然语言处理任务中取得了突破。尽管最近的研究表明 PTMs 具有顺序学习的潜力，但大量工作指出缓解 PTMs 灾难性遗忘的必要性。通过对 CIL 的初步研究和因果分析，我们揭示了关键在于新旧数据之间因果效应的不平衡。具体而言，新数据促使模型适应新类，同时阻碍了对旧类的适应；同样，旧数据促使模型适应旧类，同时阻碍了对新类的适应。换句话说，从因果角度来看，新旧类之间的适应过程存在冲突。为缓解这一问题，我们在 CIL 中提出了平衡因果效应（BaCE）方法。具体而言，BaCE 提出了两个目标，分别用于构建从新旧数据到新类和旧类预测的因果路径。通过这种方式，模型被鼓励利用新旧数据的因果效应来适应所有类，从而缓解因果不平衡问题。我们在持续图像分类、持续文本分类和持续命名实体识别上进行了广泛实验。实证结果表明，BaCE 在不同任务和设置下均优于一系列 CIL 方法。
引用
@article{arxiv.2402.10063,
title = {Balancing the Causal Effects in Class-Incremental Learning},
author = {Junhao Zheng and Ruiyan Wang and Chongzhi Zhang and Huawen Feng and Qianli Ma},
journal= {arXiv preprint arXiv:2402.10063},
year = {2024}
}