Cycle-IR:深度循环图像重定向
计算机视觉与模式识别
2019-05-10 v1
摘要
监督式深度学习技术因摆脱了手工表征的限制,已在多个领域取得巨大成功。然而,大多数先前的图像重定向算法仍采用固定设计原则,例如使用梯度图或手工特征来计算显著性图,这不可避免地限制了其通用性。深度学习技术或有助于解决此问题,但挑战在于我们需要构建大规模图像重定向数据集以训练深度重定向模型。然而,构建此类数据集需要巨大的人力投入。本文提出一种新颖的深度循环图像重定向方法,称为Cycle-IR,首次以单一深度模型实现图像重定向,且不依赖任何显式用户标注。我们的思路建立在从重定向图像到给定输入图像的反向映射之上。若重定向图像存在严重畸变或重要视觉信息过度丢失,则反向映射难以良好地复原输入图像。我们通过引入循环感知一致性损失来约束该前向-反向一致性。此外,我们提出一种简洁而高效的图像重定向网络(IRNet)以实现图像重定向过程。我们的IRNet包含空间与通道注意力层,能够有效判别输入图像的视觉重要区域,尤其在杂乱图像中。给定任意尺寸的输入图像与期望宽高比,我们的Cycle-IR可直接生成视觉愉悦的目标图像。在标准RetargetMe数据集上的大量实验显示了我们Cycle-IR的优越性。此外,我们的Cycle-IR优于Multiop方法,并在用户研究中取得最佳结果。代码见https://github.com/mintanwei/Cycle-IR。
引用
@article{arxiv.1905.03556,
title = {Cycle-IR: Deep Cyclic Image Retargeting},
author = {Weimin Tan and Bo Yan and Chumin Lin and Xuejing Niu},
journal= {arXiv preprint arXiv:1905.03556},
year = {2019}
}
备注
12 pages