图像中联合注意的发现与利用

联合视觉注意的特征是两个或更多个体同时注视一个共同目标。识别场景中的联合注意、相关人物及其共同目标的能力，是理解社会交互（包括他人的意图与目标）的基础。本文研究联合注意事件的提取，以及此类事件在图像描述中的使用。本工作有两个新颖贡献。首先，我们的提取算法是首个在单幅静态图像中识别联合视觉注意的方法。它计算三维注视方向，通过将注视方向与为该图像计算的三维深度图相结合来识别注视目标，并确定共同注视目标。其次，我们通过一项人类研究证明了人类对联合注意的敏感性，表明在图像中检测到此种构型有助于理解图像，包括主体的目标及其联合活动，从而可贡献于图像字幕生成及相关任务。