滚动快门帧的事件引导视频帧插值自监督学习
计算机视觉与模式识别
2025-06-04 v2 机器人学
摘要
大多数消费级相机使用滚动快门(RS)曝光，常导致倾斜与果冻效应等畸变。这些视频还受限于带宽与帧率约束。本文中，我们探索具有高通量时间分辨率的事件相机的潜力。我们提出一种框架，通过结合 RS 相机与事件相机，恢复无 RS 畸变的全局快门(GS)高帧率视频。由于缺乏真实世界数据集，我们的框架采用基于位移场(曝光期间像素运动的稠密3D时空表示)的自监督策略。这使得 RS 与 GS 帧之间可相互重建，并有助于慢动作恢复。我们将 RS 帧与位移场结合生成 GS 帧，并集成逆映射与 RS 帧扭曲以实现自监督。在四个数据集上的实验表明，我们的方法消除了畸变，将带宽使用降低94%，并在32倍插值时达到每帧16毫秒。
引用
@article{arxiv.2306.15507,
title = {Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames},
author = {Yunfan Lu and Guoqiang Liang and Yiran Shen and Lin Wang},
journal= {arXiv preprint arXiv:2306.15507},
year = {2025}
}
备注
An earlier version of this paper (ID: 1845) was submitted to ICCV 2023 in March 2023. The work has been substantially revised and accepted by IEEE Transactions on Visualization and Computer Graphics (TVCG)