超越图像边界：面向无界图像合成的特徵外推学习
计算机视觉与模式识别
2023-09-22 v1
摘要
为改善图像合成与美学质量，大多数现有方法通过裁掉图像边界附近的冗余内容来调节所拍摄的图像。然而，此类图像裁剪方法在图像视角范围上受限。已有一些方法建议对图像进行外推并从外推图像中预测裁剪框。尽管如此，合成的外推区域可能包含在裁剪后的图像中，使得图像合成结果不真实且图像质量可能下降。在本文中，我们通过提出一个用于无界相机视角推荐与图像合成（即 UNIC）的联合框架来规避此问题。这样，裁剪后的图像是所预测相机视角获取图像的一个子图，从而可保证其真实且图像质量一致。具体而言，我们的框架以当前相机预览帧为输入，并提供视角调整的建议，其中包含不受图像边界限制的操作，如放大或缩小以及相机移动。为提高视角调整预测的准确率，我们通过特徵外推进一步扩展视场。经过一次或多次视角调整后，我们的方法收敛并输出一个相机视角和一个显示图像合成建议的边界框。在基于现有图像裁剪数据集构建的数据集上进行了大量实验，显示了我们的 UNIC 在无界相机视角推荐与图像合成上的有效性。源代码、数据集和预训练模型可在 https://github.com/liuxiaoyu1104/UNIC 获取。
引用
@article{arxiv.2309.12042,
title = {Beyond Image Borders: Learning Feature Extrapolation for Unbounded Image Composition},
author = {Xiaoyu Liu and Ming Liu and Junyi Li and Shuai Liu and Xiaotao Wang and Lei Lei and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2309.12042},
year = {2023}
}