面向机器感知的计算成像：将语义分割推广至像差之外
计算机视觉与模式识别
2024-03-15 v2 图像与视频处理
光学
摘要
在移动和可穿戴应用中，采用极简光学系统（Minimalist Optical Systems, MOS）的语义场景理解因光学像差导致的成像质量退化而仍具挑战。然而，以往工作仅聚焦于通过计算成像（Computational Imaging, CI）技术改善主观成像质量，忽视了推进语义分割的可行性。本文率先研究了 MOS 在光学像差下的语义分割（Semantic Segmentation under Optical Aberrations, SSOA）。为对 SSOA 进行基准测试，我们通过光学仿真构建虚拟原型镜头（Virtual Prototype Lens, VPL）组，在不同像差行为与程度下生成 Cityscapes-ab 与 KITTI-360-ab 数据集。我们从无监督域自适应视角审视 SSOA，以解决真实场景中带标签像差数据稀缺的问题。进一步，我们提出计算成像辅助域自适应（Computational Imaging Assisted Domain Adaptation, CIADA），利用 CI 的先验知识在 SSOA 中实现鲁棒性能。基于我们的基准，我们实验考察了经典分割器对像差的鲁棒性。此外，对 SSOA 可能解决方案的广泛评估表明，CIADA 在所有像差分布下均取得最优性能，弥合了 MOS 计算成像与下游应用之间的鸿沟。项目页面位于 https://github.com/zju-jiangqi/CIADA。
引用
@article{arxiv.2211.11257,
title = {Computational Imaging for Machine Perception: Transferring Semantic Segmentation beyond Aberrations},
author = {Qi Jiang and Hao Shi and Shaohua Gao and Jiaming Zhang and Kailun Yang and Lei Sun and Huajian Ni and Kaiwei Wang},
journal= {arXiv preprint arXiv:2211.11257},
year = {2024}
}
备注
Accepted to IEEE Transactions on Computational Imaging (TCI). The project page is at https://github.com/zju-jiangqi/CIADA