自己画草图：通过绘制少量草图实现类增量学习
计算机视觉与模式识别
2022-03-29 v1
摘要
人类视觉系统能够从极少样本中学习新的视觉概念，这正是少样本类增量学习（FSCIL）的目标所在，且该任务额外强调确保模型不发生“遗忘”。在本文中，我们进一步推动 FSCIL 的边界，通过解决制约其广泛应用的两个关键问题：（i）模型能否像人类一样从照片以外的多样模态中学习；（ii）当因伦理与隐私限制而无法便捷获取照片时该如何处理。我们的核心创新在于倡导使用草图作为一种新的类支撑模态。由此产生了一个“自己画草图”（DIY）FSCIL 框架，用户可自由绘制某新颖类别的若干草图，供模型学习识别该类别的照片。为此，我们提出一个融合以下要素的框架：（i）用于域不变学习的梯度共识；（ii）用于保留旧类信息的知识蒸馏；（iii）用于旧类与新类间消息传递的图注意力网络。我们通过实验表明，在 FSCIL 背景下草图比文本更优的类支撑，这与草图文献中其他发现相呼应。
引用
@article{arxiv.2203.14843,
title = {Doodle It Yourself: Class Incremental Learning by Drawing a Few Sketches},
author = {Ayan Kumar Bhunia and Viswanatha Reddy Gajjala and Subhadeep Koley and Rohit Kundu and Aneeshan Sain and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2203.14843},
year = {2022}
}
备注
10 pages, 3 figures. Accepted in CVPR 2022