利用DIABOLO检测人—人或物交互（H2O）
计算机视觉与模式识别
2022-01-27 v1
摘要
检测人类交互对行为分析至关重要。已有许多方法被提出以处理人—物交互（HOI）检测，即在图像中检测哪个人与哪个物体发生交互并对交互类型分类。然而，诸如社交与暴力交互等人—人交互，在现有HOI训练数据集中通常未被考虑。由于我们认为在分析人类行为时这类交互不可忽略且不能与HOI解耦，我们提出一个新的交互数据集以同时处理两类人类交互：人—人或物交互（H2O）。此外，我们引入一种新颖的动词分类体系，旨在更贴近对人体姿态相对于周围交互目标的描述，且更独立于环境。与某些现有数据集不同，我们力求避免定义同义动词——当其使用高度依赖于目标类型或需要高层语义解释时。由于H2O数据集包含以该新分类体系标注的V-COCO图像，图像显然含有更多交互。这对那些复杂度依赖于人数、目标数或交互数的HOI检测方法构成问题。因此，我们提出DIABOLO（Detecting InterActions By Only Looking Once），一种高效的以主体为中心的单阶段方法，以一次前向传播检测所有交互，推理时间恒定且与图像内容无关。此外，该多任务网络同时检测所有人与物体。我们展示了为这些任务共享网络不仅节省计算资源，还协同提升了性能。最后，DIABOLO作为所提H2O交互检测新挑战的强基线，在HOI数据集V-COCO上训练与评测时优于所有SOTA方法。
引用
@article{arxiv.2201.02396,
title = {Detecting Human-to-Human-or-Object (H2O) Interactions with DIABOLO},
author = {Astrid Orcesi and Romaric Audigier and Fritz Poka Toukam and Bertrand Luvison},
journal= {arXiv preprint arXiv:2201.02396},
year = {2022}
}
备注
ACCEPTED in IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021)