面向目标感知的注视目标检测

注视目标检测旨在预测人物所注视的图像位置以及其视线超出场景的概率。已有若干工作通过回归以注视位置为中心的热图来解决该任务，但它们忽略了挖掘人物与所注视物体之间的关系。本文提出一种基于 Transformer 的架构，可自动检测场景中的物体（包括头部），以建立每个头部与所注视头部/物体之间的关联，从而构成一种全面且可解释的注视分析，包括：注视目标区域、注视像素点、被注视物体的类别与图像位置。在野外基准上的评估表明，我们的方法在注视目标检测的所有指标上均取得了最先进的结果（AUC 最高提升 2.91%，注视距离减少 50%，帧外平均精度提升 9%），并且在被注视物体的分类与定位上平均精度提升 11-13%。所提方法的代码已公开可用。