RAW-Adapter：为相机RAW图像适配预训练视觉模型与基准
计算机视觉与模式识别
2025-03-24 v1
摘要
在计算机视觉领域，针对sRGB图像进行预训练视觉模型的偏好趋势主要基于其获取便捷和紧凑存储。然而，相机RAW图像在多样化的真实场景中保留着丰富的物理细节。尽管如此，大多数现有利用RAW数据直接进行的视觉感知方法将图像信号处理（ISP）阶段与后续网络模块集成，常常忽视了在模型层面可能的协同效应。基于近期在自然语言处理和计算机视觉领域采用adapter方法的最新进展，我们提出了RAW-Adapter，一种新型框架，将可学习的ISP模块作为输入级适配器来调整RAW输入，同时采用模型级适配器无缝地将ISP处理与高级下游架构相桥接。此外，RAW-Adapter作为一种通用框架，可应用于各种计算机视觉框架。我们还引入了RAW-Bench，包含17种RAW图像常见损坏类型，包括亮度退化、天气效应、模糊化、相机成像退化以及相机色彩响应的变化。使用该基准，我们系统比较了RAW-Adapter与最先进（SOTA）ISP方法以及其他RAW图像的高级视觉算法的性能。此外，我们提出了一种基于RAW的数据增强策略，以进一步提升RAW-Adapter的性能并提高其在域外（OOD）泛化能力。广泛的实验结果证实了RAW-Adapter的有效性和效率，突出其在多样化场景中的稳健性能。
引用
@article{arxiv.2503.17027,
title = {RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images and A Benchmark},
author = {Ziteng Cui and Jianfei Yang and Tatsuya Harada},
journal= {arXiv preprint arXiv:2503.17027},
year = {2025}
}
备注
23 pages, 17 figures, extension of ECCV 2024 work: arXiv:2408.14802