通过构造组合学习检测人与物体交互
计算机视觉与模式识别
2021-03-26 v2
摘要
人与物体交互（HOI）检测旨在从图像/视频中推断人与物体之间的关系，是高层场景理解的一项基础任务。然而，HOI 检测通常受制于与物体交互的开放长尾特性，而人类具有极强的组合感知能力来认知稀有或未见过的 HOI 样本。受此启发，我们设计了一种新颖的 HOI 组合学习框架，称为构造组合学习（FCL），以解决开放长尾 HOI 检测问题。具体而言，我们引入一个物体构造器来生成有效的物体表示，然后将动词与构造物体组合以构成新的 HOI 样本。借助所提出的物体构造器，我们能够为大规模和未见类别生成大规模 HOI 样本，以缓解 HOI 检测中的开放长尾问题。在最流行的 HOI 检测数据集 HICO-DET 上的大量实验证明了所提方法在不平衡 HOI 检测上的有效性，并显著提升了稀有与未见 HOI 类别上的当前最优性能。代码见 https://github.com/zhihou7/HOI-CL。
引用
@article{arxiv.2103.08214,
title = {Detecting Human-Object Interaction via Fabricated Compositional Learning},
author = {Zhi Hou and Baosheng Yu and Yu Qiao and Xiaojiang Peng and Dacheng Tao},
journal= {arXiv preprint arXiv:2103.08214},
year = {2021}
}
备注
Accepted to CVPR2021; update code, figures, appendix(Object Detector Analysis)