由 RGB-光谱分解模型引导的移动摄影图像增强
计算机视觉与模式识别
2024-12-02 v2
摘要
将微型光谱仪集成到移动设备中为图像质量增强和促进后续任务提供了新的途径。然而，光谱传感器在移动摄影中的广泛应用受到光谱图像内在复杂性和光谱成像能力限制的制约。为克服这些挑战，我们提出了一种由 RGB-光谱分解模型引导的增强框架，包括两个步骤：联合分解和先验引导增强。首先，我们利用 RGB 与低分辨率多光谱图像（Lr-MSI）的互补性来预测阴影、反射率和材料语义先验。随后，这些先验被无缝集成到已建立的 HDRNet 中，分别促进动态范围增强、颜色映射和网格专家学习。此外，我们构建了一个高质量的 Mobile-Spec 数据集以支持我们的研究，并且我们的实验验证了 Lr-MSI 在调色增强任务中的有效性。本工作旨在为移动摄影的光谱视觉领域奠定坚实的基础。代码可在 \url{https://github.com/CalayZhou/JDM-HDRNet} 获取。
引用
@article{arxiv.2407.17996,
title = {Joint RGB-Spectral Decomposition Model Guided Image Enhancement in Mobile Photography},
author = {Kailai Zhou and Lijing Cai and Yibo Wang and Mengya Zhang and Bihan Wen and Qiu Shen and Xun Cao},
journal= {arXiv preprint arXiv:2407.17996},
year = {2024}
}