EA-Net：用于基于光流的视频帧插值的边缘感知网络
计算机视觉与模式识别
2021-05-18 v1
摘要
视频帧插值可提升帧率并增强视频质量。近年来，尽管插值性能已取得巨大成功，但由于大幅运动，物体边界处常出现图像模糊。这一长期存在的问题尚未得到解决。本文中，我们提出通过保留插值帧中的边缘来减轻图像模糊并获得物体的清晰形状。为此，所提出的边缘感知网络（EA-Net）将边缘信息整合进帧插值任务。它遵循端到端架构，可分为两个阶段，即边缘引导的光流估计与边缘保护的帧合成。具体而言，在光流估计阶段，开发了三种边缘感知机制以在估计光流图时强调帧边缘，从而将边缘图作为辅助信息提供更多引导以提升光流精度。在帧合成阶段，设计光流细化模块以细化光流图，并采用注意力模块在合成中间帧时自适应聚焦于双向光流图。此外，采用帧判别器与边缘判别器实施对抗训练策略，以增强合成帧的真实感与清晰度。在 Vimeo90k、UCF101（单帧插值）与 Adobe240-fps（多帧插值）三个基准上的实验证明了所提 EA-Net 在视频帧插值任务上的优越性。
引用
@article{arxiv.2105.07673,
title = {EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation},
author = {Bin Zhao and Xuelong Li},
journal= {arXiv preprint arXiv:2105.07673},
year = {2021}
}