ISP 蒸馏
计算机视觉与模式识别
2023-05-05 v3 人工智能
摘要
如今，许多被捕获的图像仅由机器而非人类“观察”，例如在自主系统中。高层机器视觉模型，如目标识别或语义分割，假定图像已由相机图像信号处理器（ISP）转换为某种规范图像空间。然而，相机 ISP 针对为人类观察者生成视觉愉悦的图像而优化，而非为机器优化。因此，可以省去 ISP 的计算时间并将视觉模型直接应用于 RAW 图像。然而，已有研究表明，直接在 RAW 图像上训练此类模型会导致性能下降。为缓解该下降，我们使用 RAW 与 RGB 图像对数据集，其无需人工标注即可轻松获取。然后，我们通过知识蒸馏训练一个直接应用于 RAW 数据的模型，使得该模型对 RAW 图像的预测与现成预训练的已处理 RGB 图像模型的预测对齐。我们的实验表明，我们在 RAW 图像上针对目标分类和语义分割的性能显著优于在带标注 RAW 图像上训练的模型。同时其在节省 ISP 计算开销的同时，合理地匹配了预训练模型在已处理 RGB 图像上的预测。
引用
@article{arxiv.2101.10203,
title = {ISP Distillation},
author = {Eli Schwartz and Alex Bronstein and Raja Giryes},
journal= {arXiv preprint arXiv:2101.10203},
year = {2023}
}