Impressions：理解视觉符号学与美学影响
计算机视觉与模式识别
2023-10-30 v1 机器学习
摘要
美学影响不同于美吗？视觉显著性是否反映了其有效沟通的能力？我们提出 Impressions，一个用于研究图像符号学以及特定视觉特征与设计选择如何引发特定情感、思想和信念的新数据集。我们假定图像的影响力超越形式化的美学定义，而在于其作为沟通行为的成功程度，其中风格对意义形成的贡献不亚于主题内容。然而，先前的图像描述数据集并非旨在赋能最先进的架构来建模潜在的人类对图像的印象或解读。为填补这一空白，我们设计了一项深受视觉艺术中图像分析技术启发的标注任务，收集了 1,440 个图像-描述对以及 4,320 条独特标注，探索影响、语用图像描述、印象和美学设计选择。我们表明，现有的多模态图像描述与条件生成模型难以模拟对图像的可信人类反应。然而，该数据集通过微调与少样本适配显著提升了它们建模图像印象与美学评价的能力。
引用
@article{arxiv.2310.17887,
title = {Impressions: Understanding Visual Semiotics and Aesthetic Impact},
author = {Julia Kruk and Caleb Ziems and Diyi Yang},
journal= {arXiv preprint arXiv:2310.17887},
year = {2023}
}
备注
To be published in EMNLP 2023