神经逻辑人机交互检测
计算机视觉与模式识别
2023-11-17 v1
摘要
主流基于 Transformer 的 HOI 检测器中所采用的交互解码器通常以预组合的人-物对作为输入。尽管取得了显著性能，此类范式缺乏可行性，且无法在解码过程中探索实体间的新组合。我们提出 L OGIC HOI，一种利用神经逻辑推理与 Transformer 推断实体间可行交互的新型 HOI 检测器。具体而言，我们修改了原始 Transformer 中的自注意力机制，使其能对 <人, 动作, 物> 三元组进行推理并构成新颖交互。同时，该推理过程受理解 HOI 的两个关键性质引导：可供性（一个物体可促成的潜在动作）与接近性（人与物之间的空间关系）。我们将这两个性质表述为一阶逻辑，并将其接地至连续空间以约束我们方法的学习过程，从而提升性能与零样本泛化能力。我们在 V-COCO 与 HICO-DET 上于常规与零样本设置下评估 L OGIC HOI，相较现有方法取得显著改进。
引用
@article{arxiv.2311.09817,
title = {Neural-Logic Human-Object Interaction Detection},
author = {Liulei Li and Jianan Wei and Wenguan Wang and Yi Yang},
journal= {arXiv preprint arXiv:2311.09817},
year = {2023}
}
备注
Accepted to NeurIPS 2023; Code: https://github.com/weijianan1/LogicHOI