适应低延迟约束的 MIMO 视频恢复网络
计算机视觉与模式识别
2024-08-23 v1
摘要
MIMO（多输入多输出）方法是视频恢复问题中近期流行的神经网络架构，其中每个网络评估会产生多个输出帧。视频被划分为非重叠的帧堆栈，独立处理，使得输出质量与计算成本之间之间呈现非常理想的权衡。本文聚焦于低延迟场景，通过限制可用未来帧的数量。我们发现，MIMO 架构存在一些迄今鲜有关注的问题：(1) 由于时域感受野显著降低，尤其是堆栈边缘帧的性能下降明显；(2) 在堆栈转换处存在强烈的时域不连续性，导致阶梯状运动伪影。我们提出两种简单解决方案：通过在 MIMO 堆栈之间引入 recurrence 来提升输出质量，从而隐式增加时域感受野；以及重叠输出堆栈以平滑堆栈转换处的时域不连续性。这些修改可应用于任何 MIMO 架构。我们在三个具有不同计算成本的前沿视频去噪网络上进行测试。所提出的贡献在低延迟网络的重建误差和时域一致性方面均达到新的状态最佳成绩。作为额外贡献，我们引入了一个新的基准数据集，包含无人机 footage，以凸显标准基准数据集中难以察觉的时域一致性问题。
引用
@article{arxiv.2408.12439,
title = {Adapting MIMO video restoration networks to low latency constraints},
author = {Valéry Dewil and Zhe Zheng and Arnaud Barral and Lara Raad and Nao Nicolas and Ioannis Cassagne and Jean-michel Morel and Gabriele Facciolo and Bruno Galerne and Pablo Arias},
journal= {arXiv preprint arXiv:2408.12439},
year = {2024}
}
备注
See the project web page to download the associated videos