让老电影重获新生

我们提出一个基于学习的框架，即循环 transformer 网络（RTN），用于修复严重退化的老电影。我们的方法不执行逐帧修复，而是基于从相邻帧中学习到的隐藏知识，这些帧包含关于遮挡的丰富信息，有助于修复每帧具有挑战性的伪影同时确保时间连贯性。此外，对比当前帧的表示与隐藏知识使得以无监督方式推断划痕位置成为可能，并且这种缺陷定位对真实世界退化具有良好泛化性。为了更好地解决混合退化并补偿帧对齐过程中的光流估计误差，我们提出利用更具表达力的 transformer 模块进行空间修复。在合成数据集和真实世界老电影上的实验证明了所提出的 RTN 相对于现有方案的显著优越性。此外，同一框架可有效将关键帧的颜色传播至整个视频，最终产生引人入胜的修复后电影。实现和模型将在 https://github.com/raywzy/Bringing-Old-Films-Back-to-Life 发布。