SelfDRSC++：基于自监督学习的双反向滚动快门校正
计算机视觉与模式识别
2024-08-22 v1
摘要
现代消费级相机普遍采用滚动快门（RS）成像机制，通过逐行扫描场景来捕获图像，从而导致动态场景中的RS失真。为校正RS失真，现有方法采用完全监督学习方式，需要高帧率全局快门（GS）图像作为监督的地面真值。在本文中，我们提出了一种增强的自监督学习框架——双反向RS校正（SelfDRSC++）。首先，我们引入了一种轻量级DRSC网络，该网络包含双向相关匹配模块，用于细化光流与校正后RS特征的联合优化，从而在减少网络参数的同时提升校正性能。随后，为有效训练DRSC网络，我们提出了一种自监督学习策略，确保输入与重建的双反向RS图像之间具有循环一致性。SelfDRSC++中的RS重建可以有趣地表述为视频帧插值的一个特例，其中重建RS图像中的每一行均利用RS失真时间图从预测的GS图像中插值得到。通过实现优异性能并简化训练过程，SelfDRSC++实现了可行的单阶段自监督训练。此外，除了起始和结束RS扫描时间外，SelfDRSC++还允许在任意中间扫描时间对GS图像进行监督，从而使学习到的DRSC网络能够生成高帧率GS视频。代码和训练模型可在 \url{https://github.com/shangwei5/SelfDRSC_plusplus} 获取。
引用
@article{arxiv.2408.11411,
title = {SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction},
author = {Wei Shang and Dongwei Ren and Wanying Zhang and Qilong Wang and Pengfei Zhu and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2408.11411},
year = {2024}
}
备注
13 pages, 9 figures, and the code is available at \url{https://github.com/shangwei5/SelfDRSC_plusplus}