Pix2HDR——一种用于高速HDR视频的逐像素采集与基于深度学习的合成方法
图像与视频处理
2024-04-26 v2 计算机视觉与模式识别
摘要
准确捕获具有大范围运动与光强的动态场景对许多视觉应用至关重要。然而，获取高速高动态范围（HDR）视频具有挑战性，因为相机的帧率限制了其动态范围。现有方法牺牲速度以获取多曝光帧。然而，这些帧中未对齐的运动仍会给HDR融合算法带来复杂性，导致伪影。我们不以基于帧的曝光进行采样，而是使用具有不同曝光和相位偏移的独立像素对视频采样。在单色逐像素可编程图像传感器上实现的该采样模式可同时以高动态范围捕获快速运动。随后，我们利用深度神经网络端到端学习的权重将逐像素输出转换为HDR视频，在最小化运动模糊的同时实现高时空分辨率。我们展示了在1000 FPS下的无混叠HDR视频采集，可解析低光条件及明亮背景下的快速运动——这两者均为传统相机的挑战性条件。通过将逐像素采样模式的灵活性与深度神经网络解码复杂场景的能力相结合，我们的方法大幅增强了视觉系统在动态条件下的适应性与性能。
引用
@article{arxiv.2310.16139,
title = {Pix2HDR -- A pixel-wise acquisition and deep learning-based synthesis approach for high-speed HDR videos},
author = {Caixin Wang and Jie Zhang and Matthew A. Wilson and Ralph Etienne-Cummings},
journal= {arXiv preprint arXiv:2310.16139},
year = {2024}
}
备注
17 pages, 18 figures