AMT：用于高效帧插值的所有像素对多场变换
计算机视觉与模式识别
2023-04-20 v1
摘要
我们提出了所有像素对多场变换（AMT），一种用于视频帧插值的新型网络架构。它基于两个核心设计。首先，我们为所有像素对构建双向相关性体，并使用预测的双边流检索相关性以更新流与插值内容特征。其次，我们从一对更新后的粗粒度流中导出多组细粒度流场，分别对输入帧执行反向扭曲。结合这两个设计使我们能够生成有前景的面向任务的流，并降低在帧插值过程中建模大运动和处理遮挡区域的难度。这些特性使我们的模型在各种基准上以高效率取得最先进的性能。此外，我们的基于卷积的模型在精度与效率上相较基于Transformer的模型具有竞争力。我们的代码可在 https://github.com/MCG-NKU/AMT 获取。
引用
@article{arxiv.2304.09790,
title = {AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation},
author = {Zhen Li and Zuo-Liang Zhu and Ling-Hao Han and Qibin Hou and Chun-Le Guo and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2304.09790},
year = {2023}
}
备注
Accepted to CVPR2023