移动计算摄影的神经场表示

在过去二十年中，移动成像经历了深刻的变革，手机在普及程度上迅速超越了所有其他形式的数字摄影。如今的手机配备了多种成像技术——激光测距、多焦相机阵列和分像素传感器——以及陀螺仪、加速度计和磁力计等非视觉传感器。这与用于图像和信号处理的板载集成芯片相结合，使手机成为一个多功能的口袋大小计算成像平台。与此同时，近年来我们看到神经场——经过训练将连续空间输入坐标映射到输出信号的小型神经网络——如何能够在没有显式数据表示（如像素阵列或点云）的情况下重建复杂场景。在本论文中，我展示了精心设计的神经场模型如何能够紧凑地表示复杂的几何结构和光照效果。实现直接从收集的野外移动摄影数据中进行深度估计、层分离和图像拼接等应用。这些方法优于 SOTA 方法，且不依赖复杂的预处理步骤、标记的真值数据或机器学习先验。相反，它们利用构造良好、自正则化的模型，通过随机梯度下降解决具有挑战性的逆问题，直接拟合来自智能手机的原始测量数据。