美学相关的图像描述生成
计算机视觉与模式识别
2022-11-29 v1 计算与语言
摘要
图像美学质量评估（AQA）旨在为图像分配数值美学评分，而图像美学描述生成（IAC）旨在生成关于图像美学方面的文本描述。在本文中，我们将图像 AQA 和 IAC 结合起来研究，并提出了一种新的 IAC 方法，称为美学相关图像描述生成（ARIC）。基于观察到图像的大多数文本评论是关于物体及其交互而非美学方面的观察，我们首先引入了句子的美学相关性分数（ARS）概念，并开发了一个模型来自动为句子标注其 ARS。然后，我们使用 ARS 设计了 ARIC 模型，该模型包括一个基于 ARS 加权的 IAC 损失函数和一个基于 ARS 的多样性美学描述选择器（DACS）。我们展示了广泛的实验结果，通过证明具有更高 ARS 的文本可以更准确地预测美学评分，并且新的 ARIC 模型可以生成更准确、美学上更相关且更多样化的图像描述，从而展示了 ARS 概念的合理性和 ARIC 模型的有效性。此外，一个包含 510K 张图像、超过 500 万条评论和 350K 个美学评分的大型新研究数据库，以及实现 ARIC 的代码可在 https://github.com/PengZai/ARIC 获取。
引用
@article{arxiv.2211.15378,
title = {Aesthetically Relevant Image Captioning},
author = {Zhipeng Zhong and Fei Zhou and Guoping Qiu},
journal= {arXiv preprint arXiv:2211.15378},
year = {2022}
}
备注
Aceepted by AAAI2023. Code and results available at https://github.com/PengZai/ARIC