基于遮挡外推挖掘条件性部位语义的人-物交互检测
计算机视觉与模式识别
2023-11-14 v2
摘要
人-物交互检测是以人为中心的场景理解的关键方面，在多个领域有重要应用。尽管该领域近期取得进展，识别细微而详细的交互仍具挑战性。现有方法试图利用人体相关线索来缓解这一困难，但严重依赖外部标注或知识，限制了其在真实场景中的实际适用性。本工作中，我们提出一种新颖的部位语义网络（PSN）来解决此问题。PSN 的核心是一种条件性部位注意力（CPA）机制，其中人体特征作为键和值，物体特征作为查询用于交叉注意力机制中的计算。如此，我们的模型学会自动聚焦于受所涉及物体制约的最具信息量的身体部位，为交互识别生成语义意义更丰富的特征。此外，我们提出一种遮挡部位外推（OPE）策略，以促进在遮挡场景下的交互识别，该策略教导模型从部分遮挡的特征中外推细节特征。我们的方法在 V-COCO 和 HICO-DET 数据集上持续优于先前方法，且无需外部数据或额外标注。额外的消融研究验证了我们所提方法各组件的有效性。
引用
@article{arxiv.2307.10499,
title = {Mining Conditional Part Semantics with Occluded Extrapolation for Human-Object Interaction Detection},
author = {Guangzhi Wang and Yangyang Guo and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2307.10499},
year = {2023}
}
备注
Under huge modification