不只是目标,而是状态:无忘记的组合增量学习
计算机视觉与模式识别
2025-03-28 v3
摘要
大多数增量学习器过于关注粗糙的目标类别,却忽略了附着于目标的各种状态(如颜色和材料)。因此,它们在推理目标-状态对的细粒度组合性方面受限。为弥补这一限制,我们提出一种新任务——组合增量学习 (Compositional Incremental Learning, composition-IL),使模型能够以增量学习方式整体识别状态-目标组合。由于缺乏合适的基准数据集,我们重新组织了两个现有数据集,使其适用于composition-IL。随后,我们提出一种基于提示的组合增量学习器 (Composition Incremental Learner, CompILer),以克服composition-IL所面临的模糊组合边界问题。具体而言,我们利用多池提示学习,该方法通过池间提示差异和池内提示多样性进行正则化。此外,我们设计了对象注入状态提示,利用对象提示引导状态提示的选择。进一步,我们采用广义均值策略融合所选提示,以消除提示中学习的无关信息。对两个数据集上的大量实验表明,CompILer实现了状态-先进的性能。
引用
@article{arxiv.2411.01739,
title = {Not Just Object, But State: Compositional Incremental Learning without Forgetting},
author = {Yanyi Zhang and Binglin Qiu and Qi Jia and Yu Liu and Ran He},
journal= {arXiv preprint arXiv:2411.01739},
year = {2025}
}
备注
NeurIPS 2024