面向视频复原的无监督光流对齐序列到序列学习
计算机视觉与模式识别
2022-06-17 v2
摘要
如何恰当地建模视频序列内的帧间关系是视频复原（VR）中的一个重要但未解决的挑战。在本工作中，我们提出一种无监督光流对齐序列到序列模型（S2SVR）来解决该问题。一方面，在自然语言处理领域已被证明具备序列建模能力的序列到序列模型，首次在 VR 中被探索。优化的序列化建模在捕捉帧间长程依赖方面展现出潜力。另一方面，我们为序列到序列模型配备了一个无监督光流估计器以最大化其潜力。该光流估计器使用我们提出的无监督蒸馏损失进行训练，可缓解先前基于光流方法的数据差异与退化光流不准确问题。借助可靠的光流，我们可在多帧间建立准确对应，缩小一维语言与二维未对齐帧之间的域差异，并提升序列到序列模型的潜力。S2SVR 在多个 VR 任务中表现出优越性能，包括视频去模糊、视频超分辨率以及压缩视频质量增强。代码与模型已公开于 https://github.com/linjing7/VR-Baseline
引用
@article{arxiv.2205.10195,
title = {Unsupervised Flow-Aligned Sequence-to-Sequence Learning for Video Restoration},
author = {Jing Lin and Xiaowan Hu and Yuanhao Cai and Haoqian Wang and Youliang Yan and Xueyi Zou and Yulun Zhang and Luc Van Gool},
journal= {arXiv preprint arXiv:2205.10195},
year = {2022}
}
备注
ICML 2022; The first sequence-to-sequence model for video restoration