基于参考的数字化模拟录像带修复

模拟磁带数十年来一直是主要的视频数据存储设备。存储在模拟录像带上的视频呈现出由磁带老化和读取设备故障引起的独特退化模式，不同于胶片与数字视频修复任务中所观察到的那些。本文中，我们提出一种基于参考的数字化模拟录像带修复方法（TAPE，resToration of digitized Analog videotaPEs）。我们利用CLIP进行零样本伪影检测，通过描述不同伪影的文本提示来识别每段视频中最干净的帧，然后选取与输入帧最相似的干净帧作为参考。我们设计了一个基于transformer的Swin-UNet网络，通过我们的多参考空间特征融合（MRSFF，Multi-Reference Spatial Feature Fusion）模块来利用相邻帧与参考帧。MRSFF模块依赖交叉注意力和注意力池化来利用每个参考帧中最有用的部分。为解决真实世界视频缺乏真值的问题，我们构建了一个展现与模拟录像带中常见伪影极为相似的合成视频数据集。定量与定性实验均表明，相较于其他SOTA方法，我们的方法有效。代码、模型与合成数据集已公开于 https://github.com/miccunifi/TAPE。