基于自适应参考帧选择的视频过曝像素在线补全
计算机视觉与模式识别
2023-08-30 v1
摘要
低动态范围（LDR）相机无法处理宽动态范围输入，经常导致局部过曝问题。我们提出了一种基于学习的系统来减少这些伪影，而无需借助高动态范围（HDR）成像中典型的复杂采集机制（如交替曝光）或昂贵处理。我们提出了一个基于 transformer 的深度神经网络（DNN）来推断缺失的 HDR 细节。在消融研究中，我们展示了使用多尺度 DNN 并以恰当代价函数训练它以实现最先进质量的重要性。为辅助过曝区域的重建，我们的 DNN 将过去的一帧参考帧作为额外输入。这利用了自动曝光常见的时间不稳定性为我们所用：由于当前帧中曝光良好的细节在未来可能过曝，我们使用强化学习来训练一个参考帧选择 DNN，以决定是否将当前帧采纳为未来参考。无需借助交替曝光，我们因此获得了一种因果的 HDR 补全算法，可在常见视频采集场景中具有潜在应用。我们的演示视频可在 https://drive.google.com/file/d/1-r12BKImLOYCLUoPzdebnMyNjJ4Rk360/view 找到。
引用
@article{arxiv.2308.15462,
title = {Online Overexposed Pixels Hallucination in Videos with Adaptive Reference Frame Selection},
author = {Yazhou Xing and Amrita Mazumdar and Anjul Patney and Chao Liu and Hongxu Yin and Qifeng Chen and Jan Kautz and Iuri Frosio},
journal= {arXiv preprint arXiv:2308.15462},
year = {2023}
}
备注
The demo video can be found at https://drive.google.com/file/d/1-r12BKImLOYCLUoPzdebnMyNjJ4Rk360/view