MGTR：基于Transformer的端到端互视检测

Hang Guo; Zhengxi Hu; Jingtai Liu

MGTR：基于Transformer的端到端互视检测

计算机视觉与模式识别 2022-10-07 v2

作者: Hang Guo , Zhengxi Hu , Jingtai Liu

摘要

人们相互注视或互视在日常互动中十分普遍，检测互视对于理解人类社会场景具有重要意义。当前互视检测方法聚焦于两阶段方法，其推理速度受限于两阶段流程，且第二阶段性能受第一阶段影响。本文提出一种新颖的单阶段互视检测框架，称为互视Transformer（Mutual Gaze TRansformer，MGTR），以端到端方式执行互视检测。通过设计互视实例三元组，MGTR可检测各人头边界框并基于全局图像信息同时推断互视关系，以简洁性精简了整个流程。在两个互视数据集上的实验结果表明，我们的方法能够在不损失性能的前提下加速互视检测过程。消融研究表明MGTR的不同组件可捕获图像中不同层次的语义信息。代码见 https://github.com/Gmbition/MGTR

关键词

互视检测 Transformer 端到端框架单阶段方法人头检测社会场景理解

引用

@article{arxiv.2209.10930,
  title  = {MGTR: End-to-End Mutual Gaze Detection with Transformer},
  author = {Hang Guo and Zhengxi Hu and Jingtai Liu},
  journal= {arXiv preprint arXiv:2209.10930},
  year   = {2022}
}

备注

ACCV2022 accepted paper

MGTR：基于Transformer的端到端互视检测

摘要

关键词

引用

备注

相关论文