HOKEM：基于人与物体关键点的交互检测扩展模块
计算机视觉与模式识别
2023-06-27 v1 机器学习
摘要
用于捕捉人与物体之间关系的人-物交互 (HOI) 检测是图像语义理解中的一项重要任务。当使用图卷积网络 (GCN) 处理从图像中提取的人和物体关键点以检测 HOI 时，无论物体类型如何都能提取出适当的物体关键点，并设计能准确捕捉关键点之间空间关系的 GCN 至关重要。本文提出了基于人与物体关键点的扩展模块 (HOKEM)，作为一种易于使用的扩展模块来提高传统检测模型的精度。所提出的物体关键点提取方法简单却能准确表示各种物体的形状。此外，所提出的人-物自适应 GCN (HO-AGCN) 引入了自适应图优化与注意力机制，能准确捕捉关键点之间的空间关系。使用 HOI 数据集 V-COCO 的实验表明，HOKEM 大幅提升了基于外观的模型的精度。
引用
@article{arxiv.2306.14260,
title = {HOKEM: Human and Object Keypoint-based Extension Module for Human-Object Interaction Detection},
author = {Yoshiki Ito},
journal= {arXiv preprint arXiv:2306.14260},
year = {2023}
}
备注
Accepted to IEEE ICIP 2023