基于先验引导双层表征学习的弱监督 HOI 检测
计算机视觉与模式识别
2023-03-03 v1
摘要
人-物交互（HOI）检测在以人为本的场景理解中起着关键作用，并作为许多视觉任务的基础构建模块。一种可泛化且可扩展的 HOI 检测策略是使用弱监督，仅从图像级标注中学习。这 inherently 具有挑战性，原因在于模糊的人-物关联、检测 HOI 的巨大搜索空间以及高度噪声的训练信号。解决这些挑战的一个有前景的策略是利用来自大规模预训练模型（如 CLIP）的知识，但直接的知识蒸馏策略~\citep{liao2022gen} 在弱监督设定下表现不佳。相比之下，我们开发了能够在图像级和 HOI 实例级都融入先验知识的 CLIP 引导 HOI 表征，并采用自教机制来剪除不正确的人-物关联。在 HICO-DET 和 V-COCO 上的实验结果表明，我们的方法以可观的幅度优于先前工作，显示了我们 HOI 表征的有效性。
引用
@article{arxiv.2303.01313,
title = {Weakly-supervised HOI Detection via Prior-guided Bi-level Representation Learning},
author = {Bo Wan and Yongfei Liu and Desen Zhou and Tinne Tuytelaars and Xuming He},
journal= {arXiv preprint arXiv:2303.01313},
year = {2023}
}
备注
Accepted by ICLR2023