MetaISP -- 利用全局场景结构实现精准的多设备色彩还原
计算机视觉与模式识别
2024-01-09 v1
摘要
图像信号处理器（ISP）是历史悠久的遗留软件系统，用于从噪声原始传感器测量值中重建彩色图像。每家智能手机制造商都开发了自己的 ISP，并采用其特有的启发式方法来改善色彩还原，例如肤色和其他视觉关键颜色。近期，人们兴趣转向用深度学习流水线取代历史形成的 ISP 系统，以匹配数码单反相机（DSLR）的图像质量并改善图像结构特征。然而，这些工作忽略了基于语义场景分析的优越色彩处理，而这正是手机 ISP 与 DSLR 的区别所在。在此，我们提出 MetaISP，这是一种单一模型，旨在学习如何在不同设备的色彩和局部对比度特征之间进行转换。MetaISP 将来自设备 A 的 RAW 图像作为输入，并将其转换为继承设备 A、B 和 C 外观特征的 RGB 图像。我们通过采用一种轻量级深度学习技术实现了这一结果，该技术根据目标设备调节其输出外观。在此方法中，我们利用了受交叉协方差启发的新型注意力机制来学习全局场景语义。此外，我们使用通常伴随 RAW 图像的元数据，并在缺乏时估计场景光源。
引用
@article{arxiv.2401.03220,
title = {MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition},
author = {Matheus Souza and Wolfgang Heidrich},
journal= {arXiv preprint arXiv:2401.03220},
year = {2024}
}
备注
VMV 2023, Project page: https://www.github.com/vccimaging/MetaISP