GaTector：一种用于注视对象预测的统一框架

注视对象预测是一项新提出的任务，旨在发现人类所注视的对象。它具有重要的应用意义，但仍缺乏统一的解决方案框架。一种直观的解决方案是将对象检测分支整合到现有的注视预测方法中。然而，以往的注视预测方法通常使用两个不同网络从场景图像和头部图像中提取特征，这会导致繁重的网络架构并阻碍各分支的联合优化。本文中，我们构建了一个名为 GaTector 的新框架，以统一的方式解决注视对象预测问题。特别地，首先提出一种特定-通用-特定（SGS）特征提取器，利用共享主干为场景和头部图像提取通用特征。为更好地考虑输入和任务的特异性，SGS 在共享主干之前引入两个输入特定块，在共享主干之后引入三个任务特定块。具体而言，设计了一种新颖的散焦层，在不丢失信息或不需要额外计算的情况下为对象检测任务生成对象特定特征。此外，引入能量聚合损失以引导注视热图聚焦于被注视的边界框。最后，我们提出了一种新颖的 wUoC 度量，即使边界框无重叠区域也能揭示其差异。在 GOO 数据集上的大量实验验证了我们的方法在所有三个赛道（即对象检测、注视估计和注视对象预测）上的优越性。