基于包围曝光与事件的 HDR 重建
计算机视觉与模式识别
2022-03-29 v1
摘要
高质量 HDR 图像的重建是现代计算摄影的核心。多帧 HDR 重建方法已取得显著进展，可生成具有高分辨率、丰富且准确色彩以及高频细节的重建结果。然而，它们在动态或大面积过曝场景中仍易失败，其中帧错位常导致可见的鬼影伪影。近期方法尝试通过利用基于事件的相机（EBC，仅测量照度的二值变化）来缓解此问题。尽管其具备理想的高时间分辨率与高动态范围特性，此类方法尚未超越传统多帧重建方法，主要由于色彩信息缺失与传感器分辨率低。本文中，我们提议同时利用包围的低动态范围（LDR）图像与同步捕获的事件，以兼得二者之长：来自包围 LDR 的高质量 RGB 信息，以及来自事件的互补高频与动态范围信息。我们提出了一种多模态端到端基于学习的 HDR 成像系统，使用注意力与多尺度空间对齐模块在特征域融合包围图像与事件模态。我们提出一种新颖的事件到图像特征蒸馏模块，通过自监督学习将事件特征翻译至图像特征空间。我们的框架通过使用滑动窗口对输入事件流进行子采样来利用事件更高的时间分辨率，从而丰富我们的组合特征表示。我们提出的方法在合成与真实事件上超越了 SOTA 多帧 HDR 重建方法，在 HdM HDR 数据集上 PSNR-L 与 PSNR-mu 分别提升 2dB 与 1dB。
引用
@article{arxiv.2203.14825,
title = {HDR Reconstruction from Bracketed Exposures and Events},
author = {Richard Shaw and Sibi Catley-Chandar and Ales Leonardis and Eduardo Perez-Pellitero},
journal= {arXiv preprint arXiv:2203.14825},
year = {2022}
}