MoTIF：利用局部隐式神经函数学习运动轨迹以实现连续时空视频超分辨率
图像与视频处理
2023-09-22 v2
摘要
本工作致力于连续时空视频超分辨率(C-STVSR)，旨在以任意缩放因子对输入视频进行空间和时间的上采样。C-STVSR的一个关键挑战是在输入视频帧之间 temporally 传播信息。为此，我们引入了时空局部隐式神经函数。它具有学习连续像素前向运动的显著特征。我们从学习个体运动轨迹而非用后向运动学习运动轨迹混合的角度，论证了使用前向运动的合理性。为简化运动插值，我们将从输入视频中提取的稀疏采样前向运动编码为上下文输入。结合可靠性感知的splatting与解码方案，我们的框架称为MoTIF，在C-STVSR上达到了最先进的性能。MoTIF的源代码可在 https://github.com/sichun233746/MoTIF 获取。
引用
@article{arxiv.2307.07988,
title = {MoTIF: Learning Motion Trajectories with Local Implicit Neural Functions for Continuous Space-Time Video Super-Resolution},
author = {Yi-Hsin Chen and Si-Cun Chen and Yi-Hsin Chen and Yen-Yu Lin and Wen-Hsiao Peng},
journal= {arXiv preprint arXiv:2307.07988},
year = {2023}
}
备注
First two authors contributed equally. Accepted to ICCV 2023