用于视频去模糊的金字塔特征对齐网络

由于模糊的多种成因，视频去模糊仍是一项具有挑战性的任务。传统方法考虑通过单尺度对齐利用相邻帧进行复原，但它们通常受困于由严重模糊引起的错位。在本工作中，我们旨在以高效的特征对齐更好地利用相邻帧。我们提出一种用于视频去模糊的金字塔特征对齐网络（PFAN）。首先，在对齐前采用结构到细节下采样（SDD）策略提取模糊帧的多尺度特征，该下采样策略使边缘更锐利，有助于对齐。然后我们在每个尺度上对齐特征并在相应尺度上重建图像。该策略有效监督各尺度的对齐，克服了上一尺度在对齐阶段传播误差的问题。为更好地应对复杂大运动的挑战，我们不再单独在各尺度对齐特征，而是利用较低尺度的运动信息引导较高尺度的运动估计。据此，提出级联引导可变形对齐（CGDA），将粗运动整合进可变形卷积以实现更精细准确的对齐。大量实验表明，相较于最先进的方法，我们提出的 PFAN 以具竞争力的速度取得了优越性能。