面向人-物交互检测的知识引导双向注意力网络
计算机视觉与模式识别
2022-07-19 v1
摘要
人-物交互（HOI）检测是一项具有挑战性的任务，需要区分人-物对之间的交互。基于注意力的关系解析是HOI中流行且有效的策略。然而，现有方法以“自底向上”的方式执行关系解析。我们认为在HOI中独立使用自底向上解析策略有违直觉，并可能导致注意力扩散。因此，我们将一种新颖的知识引导自顶向下注意力引入HOI，并提议将关系解析建模为“观察与搜索”过程：执行场景上下文建模（即观察），然后给定目标对的知识，搜索用于判别该对之间交互的视觉线索。我们通过将自底向上与自顶向下注意力统一于单一基于编码器-解码器的模型中来实现该过程。实验结果表明，我们的模型在V-COCO和HICO-DET数据集上取得了具有竞争力的性能。
引用
@article{arxiv.2207.07979,
title = {Knowledge Guided Bidirectional Attention Network for Human-Object Interaction Detection},
author = {Jingjia Huang and Baixiang Yang},
journal= {arXiv preprint arXiv:2207.07979},
year = {2022}
}
备注
HOI