基于注意力机制的联合流与特征细化用于视频修复
计算机视觉与模式识别
2025-05-26 v1 多媒体
摘要
近期的视频修复研究聚焦于从低质量输入中恢复高质量视频帧。与静态图像相比，视频修复的性能显著依赖于对连续视频帧之间时序关联性的有效利用。诸多技术通过基于流的策略或循环结构来利用时序信息，但这些方法常常在利用已被退化的输入视频帧时难以保持时序一致性。为解决这一问题，我们提出了一种新型视频修复框架，称为联合流与特征细化使用注意力机制（Joint Flow and Feature Refinement using Attention, JFFRA）。我们提出的JFFRA基于一种核心理念：通过流（对齐）与修复协同作用，通过迭代增强数据。通过利用先前增强的特征来细化流，反之亦然，JFFRA能够利用时序信息实现高效特征增强。这种流与修复之间的相互作用在多个尺度上执行，减少了对精确流估计的依赖。此外，我们引入了基于遮挡的时序损失函数，以增强网络在消除闪烁伪影方面的能力。全面的实验验证了JFFRA在各种修复任务（如去噪、去模糊和超分辨率）中的通用性。我们的方法在与最先进方法相比时，性能提升最高可达1.62 dB。
引用
@article{arxiv.2505.16434,
title = {Joint Flow And Feature Refinement Using Attention For Video Restoration},
author = {Ranjith Merugu and Mohammad Sameer Suhail and Akshay P Sarashetti and Venkata Bharath Reddy Reddem and Pankaj Kumar Bajpai and Amit Satish Unde},
journal= {arXiv preprint arXiv:2505.16434},
year = {2025}
}