通过结构化光重建的多任务学习正则化视差估计
计算机视觉与模式识别
2023-04-06 v1
摘要
三维重建是手术规划与引导的有用工具。然而，可用医学数据的匮乏制约了该领域的研究与开发，因为用于精确视差估计的监督式深度学习方法严重依赖含真实值信息的大规模数据集。已有研究探索了替代监督的方法，如自监督，其可减轻或彻底免除对真实值的需求。然而，所提出的替代方案均未能展现出接近监督设定预期的性能能力。本文旨在缓解此问题。我们研究了结构化光投影的学习，以增强直接视差估计网络的发展。我们首次表明，准确学习场景中结构化光的投影、隐式学习视差是可能的。其次，我们探索使用多任务学习（MTL）框架对结构化光与视差进行联合训练。我们给出的结果表明，带结构化光的 MTL 改善了视差训练，且不增加模型参数数量。我们的 MTL 设置在各项验证测试中均优于单任务学习（STL）网络。值得注意的是，在医学泛化测试中，STL 的误差比最佳 MTL 性能差 1.4 倍。当训练数据有限时，使用 MTL 的益处更为突出。我们创建了一套包含立体图像、视差图及在医学体模与离体组织上的结构化光投影的数据集，连同虚拟场景用于评估。该数据集将于日后公开。
引用
@article{arxiv.2301.08140,
title = {Regularising disparity estimation via multi task learning with structured light reconstruction},
author = {Alistair Weld and Joao Cartucho and Chi Xu and Joseph Davids and Stamatia Giannarou},
journal= {arXiv preprint arXiv:2301.08140},
year = {2023}
}