BiFormer：通过双边 Transformer 学习双边运动估计的 4K 视频帧插值方法
计算机视觉与模式识别
2023-04-06 v1
摘要
本文提出一种基于双边 Transformer（BiFormer）的新型 4K 视频帧插值器，其执行三个步骤：全局运动估计、局部运动细化与帧合成。首先，在全局运动估计中，我们在粗尺度上预测对称双边运动场。为此，我们提出 BiFormer，即首个基于 Transformer 的双边运动估计器。其次，我们利用分块双边代价体（BBCVs）高效地细化全局运动场。第三，我们使用细化后的运动场对输入帧进行扭曲并融合以合成中间帧。大量实验表明，所提出的 BiFormer 算法在 4K 数据集上取得了优异的插值性能。源代码发布于 https://github.com/JunHeum/BiFormer。
关键词
引用
@article{arxiv.2304.02225,
title = {BiFormer: Learning Bilateral Motion Estimation via Bilateral Transformer for 4K Video Frame Interpolation},
author = {Junheum Park and Jintae Kim and Chang-Su Kim},
journal= {arXiv preprint arXiv:2304.02225},
year = {2023}
}
备注
Accepted to CVPR2023