一种用于绘画扫视路径预测的域自适应深度学习方案

文化遗产的理解与保护对社会而言是一个重要问题，因为它代表了社会身份的基本方面。绘画是文化遗产的重要组成部分，并持续成为研究的对象。然而，观看者感知绘画的方式严格关联到所谓的HVS（人类视觉系统）行为。本文聚焦于观看者在观赏若干绘画的视觉体验过程中的眼动分析。更具体地，我们引入了一种预测人类视觉注意的新方法，该方法影响人类的多种认知功能，包括对场景的基本理解，随后将其扩展到绘画图像。所提出的新型架构接收图像并输出扫视路径（scanpath），即一系列极有可能吸引观看者注意力的点。我们使用一个FCNN（全卷积神经网络），其中利用了可微分的通道级选择模块与Soft-Argmax模块。我们还在网络瓶颈处融入可学习的高斯分布，以模拟自然场景图像中视觉注意过程的偏置。此外，为减小不同域（即自然图像、绘画）之间分布偏移的影响，我们借助梯度反转分类器促使模型从无监督的其他域中学习通用特征。我们的模型在准确率和效率上均优于现有的SOTA方法。