手持设备多帧超分辨率

与单反相机相比，智能手机相机的传感器更小，这限制了其空间分辨率；光圈更小，这限制了其聚光能力；像素更小，这降低了其信噪比。色彩滤波阵列 (CFA) 的使用需要去马赛克，这进一步降低了分辨率。在本文中，我们用一种多帧超分辨率算法取代了单帧和连拍摄影流水线中传统的去马赛克方法，该算法直接从一连串 CFA 原始图像创建完整的 RGB 图像。我们利用手持摄影中典型的自然手抖来获取具有微小偏移的一连串原始帧。然后将这些帧对齐并合并，形成在每个像素位置都具有红、绿、蓝值的单一图像。这种方法不包含显式的去马赛克步骤，既提高了图像分辨率，又提升了信噪比。我们的算法对具有挑战性的场景条件（局部运动、遮挡或场景变化）具有鲁棒性。在量产智能手机上，该算法处理每 1200 万像素 RAW 输入连拍帧仅需 100 毫秒。具体而言，该算法是 Google 旗舰手机上 Super-Res Zoom 功能以及 Night Sight 模式（无论是否变焦）中默认合并方法的基础。