用于视频去模糊的递归内递归网络
图像与视频处理
2022-03-15 v1 计算机视觉与模式识别
摘要
最先进的视频去模糊方法常采用循环神经网络来建模帧间时间依赖性。虽然隐藏状态在向后续帧传递信息中起关键作用，但突变运动模糊往往会削弱相邻帧的相关性。本文提出递归内递归网络架构，以应对短程记忆的局限。我们在 RNN 单元内部引入额外的循环单元。首先，采用内部递归模块（IRM）管理序列中的长程依赖；IRM 学习跟踪单元记忆并为寻找去模糊帧提供补充信息。其次，采用基于注意力的时序混合策略来提取局部邻域中信息的必要部分。自适应时序混合（ATB）可通过空间注意力衰减或增强特征。大量实验结果与分析验证了 IRM 与 ATB 在各种 RNN 架构上的有效性。
引用
@article{arxiv.2203.06418,
title = {Recurrence-in-Recurrence Networks for Video Deblurring},
author = {Joonkyu Park and Seungjun Nah and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2203.06418},
year = {2022}
}
备注
accepted paper in BMVC 2021