基于深度强化学习的美学照片拼贴
计算机视觉与模式识别
2021-10-20 v1 人工智能
摘要
照片拼贴旨在将多张照片自动排布于给定画布上并具备高美学质量。现有方法主要基于手工特征优化，无法充分捕捉高层人类美学感知。深度学习提供了有前景的途径，但由于拼贴的复杂性与训练数据的缺乏，解决方案尚待发掘。本文提出一种用于自动生成指定宽高比拼贴的新流程，并首次将强化学习技术引入拼贴。受人工拼贴启发，我们将拼贴生成建模为序贯决策过程以调整空间位置、旋转角度、放置顺序与全局布局。为引导智能体同时改进整体布局与局部细节，专门针对拼贴设计了考虑主客观因素的奖励函数。为克服训练数据缺乏，我们在大规模图像美学数据集（CPC）上预训练深度美学网络以提取通用美学特征，并提出注意力融合模块用于结构性拼贴特征表示。我们在两个电影数据集上对比竞争方法测试模型，结果在美学质量评估中优于其他方法。进一步的用户研究也证明了有效性。
引用
@article{arxiv.2110.09775,
title = {Aesthetic Photo Collage with Deep Reinforcement Learning},
author = {Mingrui Zhang and Mading Li and Li Chen and Jiahao Yu},
journal= {arXiv preprint arXiv:2110.09775},
year = {2021}
}