Bongard-HOI 中基于增强标签不确定查询的小样本学习
计算机视觉与模式识别
2023-12-19 v1
摘要
在小样本设置下检测人-物交互（HOI）仍然是一个挑战。由于数据有限，现有的元学习方法难以提取具有代表性的特征进行分类，而现有的小样本 HOI 模型依赖 HOI 文本标签进行分类。此外，一些查询图像可能与类外的图像在视觉上相似，例如不同 HOI 类别之间具有相似的背景。这使得学习更具挑战性，尤其是在样本有限的情况下。Bongard-HOI (Jiang et al. 2022) 集中体现了这一 HOI 小样本问题，使其成为本文关注的基准。在我们提出的方法中，我们引入了新颖的标签不确定查询增强技术，以增加查询输入的多样性，旨在将正类 HOI 类别与负类区分开来。由于这些增强后的输入可能与原始输入具有相同的类别标签，也可能不同，因此它们的类别标签是未知的。那些属于不同类别的输入由于与原始输入在视觉上相似，成为了困难样本。此外，我们引入了一种新颖的伪标签生成技术，使均值教师模型能够从增强的标签不确定输入中学习。我们提出为学生模型增强负支持集，以丰富语义信息，培养挑战并增强学生模型学习的多样性。实验结果表明，我们的方法在 Bongard-HOI 基准上取得了 68.74% 的准确率，创造了新的最先进（SOTA）性能，相较于现有 SOTA 的 66.59% 有显著提升。在更通用的小样本识别数据集 HICO-FS 上的评估中，我们的方法在 5-way 5-shot 任务中达到了 73.27% 的准确率，超越了此前 71.20% 的 SOTA。
引用
@article{arxiv.2312.10586,
title = {Few-Shot Learning from Augmented Label-Uncertain Queries in Bongard-HOI},
author = {Qinqian Lei and Bo Wang and Robby T. Tan},
journal= {arXiv preprint arXiv:2312.10586},
year = {2023}
}
备注
9 pages, 4 figures