基于智能手机主摄与超广角摄像头对的即拍即全对焦照片合成
计算机视觉与模式识别
2023-04-12 v1
摘要
全对焦（All-in-Focus, AIF）摄影有望成为现代智能手机的卖点。标准的AIF合成需要焦栈合成等手动、耗时的操作，对普通用户并不友好。为实现智能手机的即拍即全对焦摄影，我们期望从场景的一次拍摄而非同一摄像头的多张照片中生成AIF照片。借助现代智能手机的多摄像头模组，我们提出了一种利用主摄（广角）与超广角摄像头进行AIF合成的新任务。其目标是在超广角摄像头照片的辅助下，恢复主摄照片中散焦区域的清晰细节。该摄像头设置带来了视差引起的遮挡和摄像头间色彩不一致等新挑战。为克服这些挑战，我们引入了预测-细化网络以缓解遮挡，并提出动态频域对齐用于色彩校正。为实现有效的训练与评估，我们还构建了包含2686个独特场景的AIF数据集。每个场景包括主摄拍摄的两张照片、超广角摄像头拍摄的一张照片以及一张合成AIF照片。结果表明，我们称为EasyAIF的方案能够生成高质量AIF照片，并在定量与定性上优于强基线方法。我们首次成功展示了利用主摄与超广角摄像头实现即拍即全对焦照片合成。
引用
@article{arxiv.2304.04917,
title = {Point-and-Shoot All-in-Focus Photo Synthesis from Smartphone Camera Pair},
author = {Xianrui Luo and Juewen Peng and Weiyue Zhao and Ke Xian and Hao Lu and Zhiguo Cao},
journal= {arXiv preprint arXiv:2304.04917},
year = {2023}
}
备注
Early Access by IEEE Transactions on Circuits and Systems for Video Technology 2022