面向开放词汇分类的随时持续学习
计算机视觉与模式识别
2024-09-16 v1 机器学习
摘要
我们提出了一种用于开放词汇图像分类的随时持续学习 (AnytimeCL) 方法。AnytimeCL 问题旨在摆脱批量训练和僵化模型，要求系统能够在任何时间预测任何标签集，并在任何时间接收到一个或多个训练样本时进行高效更新和改进。尽管目标具有挑战性，我们仍取得了相较于近期方法的显著提升。我们提出了一种在部分微调模型和固定开放词汇模型的预测之间进行动态加权的方法，当训练样本可用于任务标签的子集时，该方法能够实现持续改进。我们还提出了一种基于注意力加权的 PCA 训练特征压缩方法，该方法在减少存储和计算的同时，对模型精度影响很小。我们的方法通过测试学习和推理灵活性的实验进行了验证。代码可在 https://github.com/jessemelpolio/AnytimeCL 获取。
引用
@article{arxiv.2409.08518,
title = {Anytime Continual Learning for Open Vocabulary Classification},
author = {Zhen Zhu and Yiming Gong and Derek Hoiem},
journal= {arXiv preprint arXiv:2409.08518},
year = {2024}
}
备注
To appear at ECCV 2024 as Oral presentation