DISeR：利用强化学习设计成像系统
计算机视觉与模式识别
2023-09-26 v1
摘要
成像系统由用于编码关于世界的视觉信息的相机和用于解释该编码的感知模型组成。相机包含（1）照明源、（2）光学元件和（3）传感器，而感知模型使用（4）算法。由于搜索空间的大小，直接搜索这四类构建模块的所有组合来设计成像系统具有挑战性。此外，相机和感知模型通常独立设计，导致任务性能次优。在本文中，我们将成像系统的这四个构建模块形式化为一个上下文无关文法（CFG），可利用学习的相机设计器自动搜索，以将成像系统与任务特定的感知模型联合优化。通过将 CFG 转换为状态-动作空间，我们随后展示了相机设计器如何用强化学习实现，以智能搜索可能的成像系统配置的组合空间。我们在两项任务上展示了我们的方法：深度估计和用于自动驾驶车辆的相机 rig 设计，表明我们的方法产生的 rig 优于行业广泛标准。我们相信我们提出的方法是迈向成像系统设计自动化的重要一步。
引用
@article{arxiv.2309.13851,
title = {DISeR: Designing Imaging Systems with Reinforcement Learning},
author = {Tzofi Klinghoffer and Kushagra Tiwary and Nikhil Behari and Bhavya Agrawalla and Ramesh Raskar},
journal= {arXiv preprint arXiv:2309.13851},
year = {2023}
}
备注
ICCV 2023. Project Page: https://tzofi.github.io/diser