利用机器与用户生成的自然语言描述改进小样本图像分类
计算与语言
2022-07-08 v1 计算机视觉与模式识别
摘要
人类可以从语言描述中获取新颖视觉概念的知识，因此我们利用小样本图像分类任务来探究机器学习模型是否也能具备这种能力。我们提出的模型 LIDE（从图像和描述中学习），具有一个文本解码器来生成描述，以及一个文本编码器来获取机器生成或用户生成的描述的文本表示。我们证实，使用机器生成描述的 LIDE 模型优于基线模型。此外，使用高质量的用户生成描述，性能得到了进一步提升。生成的描述可以被视为模型预测的解释，我们观察到这些解释与预测结果是一致的。我们还通过比较特征空间中的图像表示和文本表示，探究了语言描述为何能提升小样本图像分类的性能。
引用
@article{arxiv.2207.03133,
title = {Improving Few-Shot Image Classification Using Machine- and User-Generated Natural Language Descriptions},
author = {Kosuke Nishida and Kyosuke Nishida and Shuichi Nishioka},
journal= {arXiv preprint arXiv:2207.03133},
year = {2022}
}
备注
Findings of NAACL2022