用于人-物交互检测的可迁移交互性知识
计算机视觉与模式识别
2021-04-13 v3 人工智能
机器学习
摘要
人-物交互（HOI）检测是理解人类如何与物体交互的重要问题。在本文中，我们探索交互性知识，其指示人与物体是否相互交互。我们发现交互性知识可跨 HOI 数据集学习，并弥合不同 HOI 类别设定之间的鸿沟。我们的核心思想是利用交互性网络从多个 HOI 数据集中学习通用交互性知识，并在推理中 HOI 分类之前执行非交互抑制（NIS）。鉴于交互性的泛化能力，交互性网络是一个可迁移知识学习器，且可与任意 HOI 检测模型协作以取得理想结果。我们利用人体实例与身体部位特征一起以层次范式学习交互性，即实例级与身体部位级交互性。此后，提出一致性任务以引导学习并提取更深的交互视觉线索。我们在 HICO-DET、V-COCO 和新构建的 PaStaNet-HOI 数据集上广泛评估所提方法。借助学到的交互性，我们的方法优于最先进的 HOI 检测方法，验证了其效能与灵活性。代码见 https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network。
引用
@article{arxiv.2101.10292,
title = {Transferable Interactiveness Knowledge for Human-Object Interaction Detection},
author = {Yong-Lu Li and Xinpeng Liu and Xiaoqian Wu and Xijie Huang and Liang Xu and Cewu Lu},
journal= {arXiv preprint arXiv:2101.10292},
year = {2021}
}
备注
TPAMI version of our CVPR2019 paper with a new benchmark PaStaNet-HOI. Code: https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network. arXiv admin note: substantial text overlap with arXiv:1811.08264