用于任务特定相机参数端到端学习的可微分传感器布局
计算机视觉与模式识别
2023-05-01 v1
摘要
深度学习的成功常被描述为能够以端到端方式在特定应用上训练网络的所有参数。然而，相机层面的若干设计选择，包括传感器的像素布局，被视为预定义且固定的，而在计算机视觉与图形学中，高分辨率、规则像素布局被视为最通用的布局，将图像所有区域视为同等重要。尽管若干工作在硬件与图像处理中考虑了非均匀（如六边形或中央凹）像素布局，但布局迄今尚未被整合进端到端学习范式。本工作中，我们提出首个真正端到端训练的成像流水线，它在特定任务上联合优化成像传感器上像素的大小与分布以及给定神经网络的参数。我们推导出一种解析的、可微分的传感器布局参数化方法，允许任务特定的、局部变化的像素分辨率。我们给出两种像素布局参数化函数：保持规则拓扑的矩形和曲线网格形状。我们提供一个即插即用模块，基于现有高分辨率图像近似传感器仿真，以直接将我们的方法与现有深度学习模型连接。我们展示了对于分类和语义分割两个不同下游任务，网络预测受益于可学习的像素布局。
引用
@article{arxiv.2304.14736,
title = {Differentiable Sensor Layouts for End-to-End Learning of Task-Specific Camera Parameters},
author = {Hendrik Sommerhoff and Shashank Agnihotri and Mohamed Saleh and Michael Moeller and Margret Keuper and Andreas Kolb},
journal= {arXiv preprint arXiv:2304.14736},
year = {2023}
}