探索自三元组与跨三元组相关性用于人-物交互检测
计算机视觉与模式识别
2024-01-12 v1
摘要
人-物交互（HOI）检测在场景理解中起着至关重要的作用，其目标是预测形式为 <人，物，动作> 的 HOI 三元组。现有方法主要提取多模态特征（如外观、物体语义、人体姿态），然后将其融合以直接预测 HOI 三元组。然而，这些方法大多侧重于寻找自三元组聚合，却忽略了潜在的跨三元组依赖关系，导致动作预测的歧义性。在本工作中，我们提出探索自三元组与跨三元组相关性（SCTC）用于 HOI 检测。具体而言，我们将每个三元组提议视为一个图，其中人、物表示节点，动作表示边，以聚合自三元组相关性。同时，我们尝试通过联合考虑实例级、语义级和布局级关系来探索跨三元组依赖关系。此外，我们利用 CLIP 模型通过知识蒸馏辅助 SCTC 获取交互感知特征，为 HOI 检测提供有用的动作线索。在 HICO-DET 和 V-COCO 数据集上的大量实验验证了所提出的 SCTC 的有效性。
引用
@article{arxiv.2401.05676,
title = {Exploring Self- and Cross-Triplet Correlations for Human-Object Interaction Detection},
author = {Weibo Jiang and Weihong Ren and Jiandong Tian and Liangqiong Qu and Zhiyong Wang and Honghai Liu},
journal= {arXiv preprint arXiv:2401.05676},
year = {2024}
}