手机双摄像头平滑变焦

在手机上双摄像头之间变焦时，预览中会出现几何内容和图像颜色的明显跳变，不可避免地影响用户的变焦体验。在这项工作中，我们引入了一个新任务，即双摄像头平滑变焦（DCSZ），以实现平滑的变焦预览。帧插值（FI）技术是一个潜在的解决方案，但在真实数据收集方面存在困难。为了解决这个问题，我们提出了一种数据工厂解决方案，通过渲染场景的重建3D模型来组装连续虚拟摄像头以生成DCSZ数据。特别地，我们提出了一种新颖的双摄像头平滑变焦高斯泼溅（ZoomGS），其中引入了特定摄像头编码来为每个虚拟摄像头构建特定的3D模型。利用所提出的数据工厂，我们构建了一个用于DCSZ的合成数据集，并利用它来微调FI模型。此外，我们收集了没有真实数据的真实世界双变焦图像用于评估。使用多种FI方法进行了大量实验。结果表明，微调后的FI模型在DCSZ任务上相比原始模型取得了显著的性能提升。数据集、代码和预训练模型将在https://github.com/ZcsrenlongZ/ZoomGS提供。