一种用于统一图像美学预测的门控中央-周边卷积神经网络
计算机视觉与模式识别
2019-06-27 v2 图像与视频处理
摘要
学习细粒度细节是图像美学评估中的一个关键问题。以往大多数方法通过随机裁剪策略提取细粒度细节，这可能会破坏语义信息的完整性。大量研究表明，人类通过中央视觉与周边视觉的混合来感知细粒度细节。中央凹具有最高可能的视觉敏锐度，负责看清细节；周边视觉用于感知广阔的空间场景并为中央凹选择注意区域。受这些观察启发，我们提出了一种门控周边-中央凹卷积神经网络（GPF-CNN）。它是一个专用的双子网络神经网络，即一个周边子网络和一个中央凹子网络。前者旨在模拟周边视觉的功能以编码整体信息并提供注意区域；后者旨在这些关键区域上提取细粒度特征。考虑到周边视觉与中央凹视觉在处理不同视觉刺激时扮演不同角色，我们进一步采用门控信息融合（GIF）网络来加权它们的贡献。权重由全连接层后接 sigmoid 函数确定。我们在标准 AVA 和 Photo.net 数据集上针对统一美学预测任务进行了综合实验：（i）美学质量分类；（ii）美学评分回归；（iii）美学评分分布预测。实验结果证明了所提方法的有效性。
引用
@article{arxiv.1812.07989,
title = {A Gated Peripheral-Foveal Convolutional Neural Network for Unified Image Aesthetic Prediction},
author = {Xiaodan Zhang and Xinbo Gao and Wen Lu and Lihuo He},
journal= {arXiv preprint arXiv:1812.07989},
year = {2019}
}
备注
Add more experiments