挖掘跨人线索用于HOI检测中的身体部位交互性学习
计算机视觉与模式识别
2022-10-05 v2
摘要
人-物交互(HOI)检测在活动理解中起着关键作用。尽管已取得显著进展，交互性学习仍是HOI检测中的一个挑战性问题：现有方法通常生成冗余的负H-O对提议，且无法有效提取交互对。尽管交互性已在整体身体层面与部位层面得到研究，并促进了H-O配对，但以往工作仅关注目标人物一次（即局部视角），忽视了其他人的信息。本文中，我们认为同时比较多人的身体部位能够为我们提供更多有用且互补的交互性线索。也就是说，从全局视角学习身体部位交互性：在对目标人物的身体部位交互性进行分类时，不仅从她/他自身，还从图像中的其他人物探索视觉线索。我们基于自注意力构建身体部位显著性图，以挖掘跨人的信息线索，并学习所有身体部位之间的整体关系。我们在广泛使用的基准HICO-DET和V-COCO上评估了所提方法。借助我们的新视角，整体全局-局部身体部位交互性学习取得了优于SOTA的显著改进。我们的代码可在 https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness 获取。
引用
@article{arxiv.2207.14192,
title = {Mining Cross-Person Cues for Body-Part Interactiveness Learning in HOI Detection},
author = {Xiaoqian Wu and Yong-Lu Li and Xinpeng Liu and Junyi Zhang and Yuzhe Wu and Cewu Lu},
journal= {arXiv preprint arXiv:2207.14192},
year = {2022}
}
备注
To appear in ECCV 2022