ArtEmis：视觉艺术中的情感语言
计算机视觉与模式识别
2021-01-20 v1 计算与语言
摘要
我们提出一个新的大规模数据集及配套的机器学习模型，旨在详细理解视觉内容、其情感效应，以及后者在语言中的解释之间的相互作用。与计算机视觉中多数现有标注数据集不同，我们聚焦于视觉艺术品触发的情感体验，并要求标注者指出其对给定图像感受到的主导情绪，且关键地，还需为其情绪选择提供有根据的言语解释。如下文所示，这带来了关于图像客观内容及其情感影响的丰富信号集合，建立了与抽象概念（如“自由”或“爱”）的关联，或超越直接可见内容的指涉，包括视觉明喻与隐喻，或对个人经历的主观指涉。我们聚焦视觉艺术（如绘画、艺术摄影），因其是为引发观者情感响应而创作的意象典型。我们的数据集称为 ArtEmis，包含来自 WikiArt 上 81K 件艺术品的 439K 条人类情感归因与解释。基于该数据，我们训练并展示了一系列能够从视觉刺激表达并解释情感的 captioning 系统。值得注意的是，这些系统生成的 caption 常成功反映图像的语义与抽象内容，远超基于现有数据集训练的系统。所收集数据集与开发方法可见于 https://artemisdataset.org。
引用
@article{arxiv.2101.07396,
title = {ArtEmis: Affective Language for Visual Art},
author = {Panos Achlioptas and Maks Ovsjanikov and Kilichbek Haydarov and Mohamed Elhoseiny and Leonidas Guibas},
journal= {arXiv preprint arXiv:2101.07396},
year = {2021}
}
备注
https://artemisdataset.org