通过学习时空失真模型进行 HDR 去噪与去模糊

我们致力于从双曝光传感器重建清晰且无噪声的高动态范围（HDR）视频，该传感器在不同像素列中记录不同的低动态范围（LDR）信息：奇数列提供低曝光、清晰但有噪声的信息；偶数列以噪声较小、高曝光但运动模糊的数据对此进行补充。以往的 LDR 工作学习对模糊与去噪（DISTORTED->CLEAN）进行 supervised，以成对的 CLEAN 与 DISTORTED 图像作为监督。遗憾的是，捕获 DISTORTED 传感器读数耗时，且缺乏 CLEAN HDR 视频。我们提出一种方法来克服这两类局限。首先，我们改为学习另一个函数：CLEAN->DISTORTED，它从少量 CLEAN 传感器读数生成包含相关像素噪声、行列噪声以及运动模糊的样本。其次，由于可用的 CLEAN HDR 视频不足，我们设计了一种改为从 LDR 视频学习的方法。我们的方法优于若干强基线，并且当现有方法在我们的数据上重新训练时可对其起到提升作用。结合空间与时间超分辨率，它可实现诸如低噪声或低模糊重打光等应用。