ReconfigISP：可重构相机图像处理流水线
图像与视频处理
2021-09-13 v1 计算机视觉与模式识别
摘要
图像信号处理器（ISP）是数码相机中的关键组件，它将传感器信号转换为供我们感知和理解的图像。现有的 ISP 设计总是采用固定架构，例如以刚性顺序连接的几个串行模块。这种固定的 ISP 架构对于相机传感器、场景和任务多样的实际应用而言可能是次优的。在本研究中，我们提出了一种新颖的可重构 ISP（ReconfigISP），其架构和参数可以针对特定数据和任务自动定制。具体而言，我们实现了多个 ISP 模块，并通过训练可微代理为每个模块启用反向传播，从而使我们能够利用流行的可微神经架构搜索来有效地搜索最优的 ISP 架构。采用代理调优机制以在所有情况下保持代理网络的准确性。在不同传感器、光照条件和效率约束下，对图像复原和目标检测进行了大量实验，验证了 ReconfigISP 的有效性。每个任务仅需调优数百个参数。
引用
@article{arxiv.2109.04760,
title = {ReconfigISP: Reconfigurable Camera Image Processing Pipeline},
author = {Ke Yu and Zexian Li and Yue Peng and Chen Change Loy and Jinwei Gu},
journal= {arXiv preprint arXiv:2109.04760},
year = {2021}
}
备注
ICCV 2021