基于手机双摄融合的人脸去模糊

快速运动主体的运动模糊是摄影中一个长期存在的问题，并且在手机上非常常见，原因在于有限的光收集效率，尤其在低光条件下。尽管近年来我们见证了图像去模糊的巨大进展，多数方法需要大量计算力，且在处理具有严重局部运动的高分辨率照片时存在局限。为此，我们开发了一种基于双摄融合技术的手机人脸去模糊系统。该系统检测主体运动以动态启用参考相机，例如近期高端手机上常见的超广角相机，并以更快快门设置捕获一张辅助照片。主拍虽低噪但模糊，参考拍虽清晰但含噪。我们学习ML模型来对齐并融合这两张照片，输出无运动模糊的清晰照片。我们的算法在Google Pixel 6上高效运行，每拍开销463毫秒。我们的实验展示了本系统相对于替代的单图像、多帧、人脸专用及视频去模糊算法以及商业产品的优势与鲁棒性。据我们所知，我们的工作是首个在数千张不同运动与光照条件下可靠且鲁棒工作的人脸运动去模糊手机方案。