基于历时描述的绘画艺术品自动标签推荐

本文研究绘画艺术品的自动标签推荐问题。当作品由许多专家历时完成时，通常会出现包含描述每幅画作所用词汇偏差的历时描述。本工作的目标是为大型收藏中的每幅画作提供一个能产生更准确且同质的标签集的框架。为验证我们的方法，我们基于弱监督神经网络为超过 $5{,}300$ 幅画作构建了模型，这些画作带有专家为巴西画家 Candido Portinari 的画作所做的人工标注描述。本工作在 Portinari 项目中进行，该项目始于 1979 年，旨在恢复并编目该巴西画家的画作。当时的 Portinari 画作散布于世界各地的私人收藏和博物馆中，因此公众无法接触到。每幅画作的描述是由大量合作者在 40 年间随着画作被恢复而做出的，这些历时描述导致了描述每幅画作所用词汇的偏差。我们提出的框架包括： 一个神经网络，它接收每幅画作的图像作为输入，并使用频繁项集作为可能的标签；以及 一个聚类步骤，其中我们基于预训练分类器的输出对相关标签进行分组。