用于盲多帧视频去噪的自监督训练

我们提出了一种用于训练多帧视频去噪网络的自监督方法。这些网络从 t 周围的帧窗口预测第 t 帧。我们的自监督方法利用视频时间一致性，通过对预测的第 t 帧与相邻目标帧之间的损失进行惩罚，其中两帧使用光流进行对齐。我们将所提策略用于在线内部学习，即对一个预训练网络进行微调，以从单个视频中去噪一种新的未知噪声类型。经过若干帧后，所提微调方法达到并有时超越使用监督训练的最先进网络的性能。此外，对于广泛的噪声类型，它可以在不知晓噪声分布的情况下盲应用。我们通过展示不同合成与真实噪声的盲去噪结果来证明这一点。