基于互补记忆系统的开放词汇分类持续学习方法
计算机视觉与模式识别
2024-10-08 v3
摘要
我们提出一种用于开放词汇图像分类中灵活高效持续学习的方法，其灵感来自人类认知中观察到的互补学习系统。具体而言，我们提出结合 CLIP 零样本模型与基于样本模型的预测，使用样本类别内某样本类别的零样本估计概率。我们还提出一种“树探针”（tree probe）方法，即惰性学习原理的一种适配，其能够从新样本中快速学习，并达到与批量训练线性模型相竞争的精度。我们在数据增量、类别增量和任务增量设定下进行了测试，以及针对零样本与已学类别可变子集执行灵活推理的能力。我们所提方法在学习速度、目标任务有效性和零样本有效性之间取得了良好平衡。代码将发布于 https://github.com/jessemelpolio/TreeProbe。
引用
@article{arxiv.2307.01430,
title = {Continual Learning in Open-vocabulary Classification with Complementary Memory Systems},
author = {Zhen Zhu and Weijie Lyu and Yao Xiao and Derek Hoiem},
journal= {arXiv preprint arXiv:2307.01430},
year = {2024}
}
备注
Accepted by Transactions on Machine Learning Research (TMLR)