探索视觉参与信号用于表征学习

社交媒体平台中的视觉参与包括针对照片帖子的评论、分享与点赞等交互行为。本文利用此类视觉参与线索作为表征学习的监督信号。然而，从参与信号中学习并非易事，因为如何弥合底层视觉信息与社会高层交互之间的鸿沟尚不清楚。我们提出VisE，一种弱监督学习方法，将社交图像映射到由聚类参与信号所得的伪标签。随后我们研究以此方式训练的模型如何有益于主观下游计算机视觉任务，如情感识别或政治偏见检测。通过广泛研究，我们从经验上证明了VisE在超越传统识别范围的一系列多样分类任务中的有效性。