基于 Swin-Transformer 的极化视频帧插值
计算机视觉与模式识别
2024-06-18 v1 光学
摘要
视频帧插值 (VFI) 已被广泛探索与验证，但其在极化应用方面鲜有涉足。由于偏振滤波器对光线的选择性传输，通常需要更长的曝光时间以确保足够的光强，从而降低了时间采样率。进一步地，由于极化由物体反射受拍摄视角影响，仅估计像素位移而不足以准确重建中间极化。为此，本研究提出一种基于 Swin-Transformer 的多阶段、多尺度网络，称作 Swin-VFI，并推出量身定制的损失函数以促进网络理解极化变化。为确保方法的实用性，本研究评估了其在形状从极化 (SfP) 和人体形体重建任务中的插值帧，比较了 CAIN、FLAVR 和 VFIT 等最新方法。实验结果表明，我们的方法在所有任务中均表现出优异的重建精度。
引用
@article{arxiv.2406.11371,
title = {Video Frame Interpolation for Polarization via Swin-Transformer},
author = {Feng Huang and Xin Zhang and Yixuan Xu and Xuesong Wang and Xianyu Wu},
journal= {arXiv preprint arXiv:2406.11371},
year = {2024}
}
备注
18 pages, 10 figures, 7 tables, 73 citations