被忽视的免费午餐——利用标注副产品学习图像分类器
计算机视觉与模式识别
2023-07-27 v3 机器学习
摘要
图像分类器的监督学习通过图像与对应标签（X,Y）的配对将人类知识蒸馏进参数化模型。我们认为这种简单且被广泛使用的人类知识表示忽略了标注过程中丰富的辅助信息，例如图像选定后留下的鼠标轨迹与点击的时间序列。我们的洞见是，此类标注副产品 Z 提供了近似的人类注意力，可弱引导模型聚焦于前景线索，从而减少虚假关联并抑制捷径学习。为验证这一点，我们创建了 ImageNet-AB 与 COCO-AB。它们是通过复现各自原始标注任务收集得到的、 enriched with 样本级标注副产品的 ImageNet 与 COCO 训练集。我们将这种利用标注副产品训练模型的新范式称为利用标注副产品学习（LUAB）。我们表明，一个用于回归 Z 与 Y 的简单多任务损失已能提升所学模型的泛化性与鲁棒性。相较于原始监督学习，LUAB 不需要额外标注成本。ImageNet-AB 与 COCO-AB 位于 https://github.com/naver-ai/NeglectedFreeLunch。
引用
@article{arxiv.2303.17595,
title = {Neglected Free Lunch -- Learning Image Classifiers Using Annotation Byproducts},
author = {Dongyoon Han and Junsuk Choe and Seonghyeok Chun and John Joon Young Chung and Minsuk Chang and Sangdoo Yun and Jean Y. Song and Seong Joon Oh},
journal= {arXiv preprint arXiv:2303.17595},
year = {2023}
}
备注
Code & data at https://github.com/naver-ai/NeglectedFreeLunch. To be presented at ICCV'23