TMHOI：面向人-物交互检测的平移模型
计算机视觉与模式识别
2023-07-04 v3
摘要
检测人-物交互（HOIs）是计算机视觉领域一项复杂的挑战。现有的HOI检测方法严重依赖基于外观的特征，但这些特征可能无法充分捕捉准确检测所需的所有本质特性。为克服这些挑战，我们提出了一种名为TMGHOI（Translational Model for Human-Object Interaction Detection，面向人-物交互检测的平移模型）的基于图的创新方法。我们的方法通过整合空间与语义知识，有效捕捉HOIs的情感表征。通过将HOIs表示为图，其中交互组件作为节点、其空间关系作为边。为提取关键的空间与语义信息，TMGHOI采用独立的空间编码器和语义编码器。随后，这些编码被组合以构建有效捕捉HOIs情感表征的知识图。此外，融入先验知识的能力增强了对交互的理解，进一步提升了检测精度。我们在广泛使用的HICO-DET数据集上进行了大量评估以证明TMGHOI的有效性。我们的方法大幅优于现有的最先进基于图的方法，展示了其作为HOI检测更优方案的潜力。我们确信TMGHOI有潜力显著提升HOI检测的准确率与效率。其对空间与语义知识的整合，以及计算效率和实用性，使其成为计算机视觉领域研究者和从业者的有力工具。如同任何研究，我们承认在多种数据集上进一步探索与评估以确立所提方法泛化性与鲁棒性的重要性。
引用
@article{arxiv.2303.04253,
title = {TMHOI: Translational Model for Human-Object Interaction Detection},
author = {Lijing Zhu and Qizhen Lan and Alvaro Velasquez and Houbing Song and Acharya Kamal and Qing Tian and Shuteng Niu},
journal= {arXiv preprint arXiv:2303.04253},
year = {2023}
}
备注
10 pages, 3 figures, 2 tables