UMAAF：通过图像多维度属性揭示美学
计算机视觉与模式识别
2023-11-22 v2
摘要
随着智能手机与网站的日益普及，图像美学评估（IAA）变得愈发重要。尽管属性在IAA中的重要性已被广泛认可，许多基于属性的方法仍缺乏对美学属性选取与利用的考量。我们的首要步骤是从内部视角与外部视角获取美学属性。在内部视角下，我们提取图像的直接视觉属性，构成绝对属性。在外部视角下，我们着重建模同一序列内图像间的相对分数关系，形成相对属性。随后，为更好地在美学评估中利用图像属性，我们提出统一多属性美学评估框架（UMAAF）来建模图像的绝对与相对属性。对于绝对属性，我们采用多个绝对属性感知模块与一个绝对属性交互网络。绝对属性感知模块先在若干绝对属性学习任务上预训练，再用于提取相应的绝对属性特征。绝对属性交互网络自适应地学习多样绝对属性特征的权重，将其与来自不同绝对属性视角的通用美学特征有效融合，并生成美学预测。为建模图像的相对属性，我们在相对关系损失函数中考虑图像间的相对排序与相对距离关系，从而增强UMAAF的鲁棒性。此外，UMAAF在TAD66K与AVA数据集上取得了最先进的性能，且多项实验证明了各模块的有效性及模型与人类偏好的对齐。
引用
@article{arxiv.2311.11306,
title = {UMAAF: Unveiling Aesthetics via Multifarious Attributes of Images},
author = {Weijie Li and Yitian Wan and Xingjiao Wu and Junjie Xu and Cheng Jin and Liang He},
journal= {arXiv preprint arXiv:2311.11306},
year = {2023}
}