基于滚动快门图像与事件的自监督场景动态恢复
计算机视觉与模式识别
2023-04-20 v2
摘要
通过将失真的滚动快门(RS)图像反演为无失真高帧率全局快门(GS)视频的场景动态恢复(SDR)是一个严重不适定问题，原因在于RS帧内扫描行与帧间曝光均缺失时间动态信息，尤其在无相机/物体运动先验知识时。常用的关于场景/运动的人为假设及数据特定特性易在真实场景中产生次优解。为应对此挑战，我们在自监督学习范式下提出一种基于事件的SDR网络，即SelfUnroll。我们利用事件相机极高的时间分辨率提供准确的帧间/帧内动态信息。具体地，提出一种基于事件的帧间/帧内补偿器(E-IC)来预测任意时间间隔内的逐像素动态，包括时间过渡与空间平移。探索RS-RS、RS-GS与GS-RS间的关联，我们用所提E-IC显式构建相互约束，从而在无真值GS图像下产生监督。在合成与真实数据集上的广泛评估表明，所提方法达到SOTA，并在真实场景中基于事件的RS2GS反演上展现出卓越性能。数据集与代码见 https://w3un.github.io/selfunroll/。
引用
@article{arxiv.2304.06930,
title = {Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events},
author = {Yangguang Wang and Xiang Zhang and Mingyuan Lin and Lei Yu and Boxin Shi and Wen Yang and Gui-Song Xia},
journal= {arXiv preprint arXiv:2304.06930},
year = {2023}
}