自监督学习唤醒双反向卷帘快门图像
计算机视觉与模式识别
2023-09-15 v3
摘要
现代消费级相机通常采用卷帘快门（RS）机制，即逐行扫描场景来捕获图像，从而对动态场景产生RS畸变。为校正RS畸变，现有方法采用全监督学习方式，需采集高帧率全局快门（GS）图像作为真值监督。本文提出一种用于双反向RS畸变校正（SelfDRSC）的自监督学习框架，其中DRSC网络可仅基于具有反向畸变的双RS图像学习生成高帧率GS视频。具体而言，提出双向畸变扭曲模块来重建双反向RS图像，随后可通过增强输入与重建的双反向RS图像之间的循环一致性，部署自监督损失以训练DRSC网络。除起始与结束RS扫描时刻外，SelfDRSC还可对任意中间扫描时刻的GS图像进行监督，从而使学到的DRSC网络能生成高帧率GS视频。此外，在自监督损失中引入一种简单而有效的自蒸馏策略，以减轻生成GS图像中的边界伪影。在合成数据集上，SelfDRSC取得了优于或与全监督训练的SOTA方法相当的定量指标。在真实世界RS案例中，我们的SelfDRSC能生成具有更精细校正纹理与更好时间一致性的高帧率GS视频。源代码与训练模型已公开于 https://github.com/shangwei5/SelfDRSC。我们也提供了基于HUAWEI Mindspore的实现：https://github.com/Hunter-Will/SelfDRSC-mindspore。
引用
@article{arxiv.2305.19862,
title = {Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive},
author = {Wei Shang and Dongwei Ren and Chaoyu Feng and Xiaotao Wang and Lei Lei and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2305.19862},
year = {2023}
}
备注
Accepted by ICCV 2023, available at https://github.com/shangwei5/SelfDRSC