面向高级视觉感知的任务导图图像信号处理器
计算机视觉与模式识别
2025-09-18 v1
摘要
近年来，计算机视觉领域正逐渐转向利用原始传感器数据，后者相较于传统低位RGB图像保留了更丰富的信息。早期研究主要致力于提升视觉质量，而近期的工作则试图利用原始数据中的丰富信息，以提高视觉感知任务（如目标检测和分割）的性能。然而，现有方法仍面临两个关键局限：大规模ISP网络结构带来巨大的计算开销，而基于调优传统ISP流程的方法受限于表示能力的局限性。为此，我们提出了任务导图图像信号处理器(TA-ISP)，这是一种紧凑的RAW到RGB框架，为预训练的视觉模型生成任务导向的表征。不同于重型稠密卷积流程，TA-ISP预测一小组轻量级、多尺度调制算子，这些算子在全局、区域和像素尺度上发挥作用，以重新塑造不同空间范围内的图像统计信息。这种分解化的控制显著扩展了可表示的空间可变变换范围，同时严格控制了内存占用、计算量和延迟。在多个RAW域的检测和分割基准测试中（包括日间和夜间条件），TA-ISP在保持参数数量和推理时间大幅降低的同时，持续提升下游准确率，使其特别适用于资源受限设备的部署。
引用
@article{arxiv.2509.13762,
title = {Task-Aware Image Signal Processor for Advanced Visual Perception},
author = {Kai Chen and Jin Xiao and Leheng Zhang and Kexuan Shi and Shuhang Gu},
journal= {arXiv preprint arXiv:2509.13762},
year = {2025}
}