基于全分辨率照片的主题感知美学分布预测
计算机视觉与模式识别
2022-03-17 v3
摘要
美学质量评估（AQA）由于美学因素复杂而是一项具有挑战性的任务。目前，通常使用需要固定尺寸输入的深度神经网络进行 AQA。现有方法主要通过缩放、裁剪和填充变换图像，或采用自适应池化从固定尺寸输入中交替捕获美学特征。然而，这些变换可能破坏美学特征。为解决此问题，我们提出一种简单而有效的方法，通过结合图像填充与图像区域（RoM）池化来实现全分辨率图像 AQA。填充将输入变为相同尺寸。RoM 池化对图像特征进行池化并丢弃额外的填充特征，以消除填充的副作用。此外，对图像长宽比进行编码并与视觉特征融合，以弥补 RoM 池化的形状信息损失。进一步，我们观察到同一图像在不同主题下可能得到不同的美学评价，称之为主题准则偏差。因此，提出了一种利用主题信息引导模型预测的主题感知模型。最后，我们设计了一个基于注意力的特征融合模块，以有效利用形状与主题信息。大量实验证明了所提方法相对于 SOTA 方法的有效性。
引用
@article{arxiv.1908.01308,
title = {Theme-Aware Aesthetic Distribution Prediction With Full-Resolution Photographs},
author = {Gengyun Jia and Peipei Li and Ran He},
journal= {arXiv preprint arXiv:1908.01308},
year = {2022}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems