结合电影级渲染的深度学习：利用照片级真实感医学图像微调深度神经网络

深度学习已成为一种强大的人工智能工具，用于解释医学图像以服务于日益增长的各种应用。然而，训练此类方法所需的高质量标注医学影像数据的匮乏最终限制了其性能。由于隐私问题、可用于标注的专家短缺、罕见病症的代表性有限以及成本等原因，医学数据的获取具有挑战性。此前已通过使用合成生成的数据来解决该问题。然而，在合成数据上训练的网络往往无法泛化到真实数据。电影级渲染（cinematic rendering）模拟了光在由CT数据重建的组织模型中传播与交互的过程，从而能够生成照片级真实感图像。在本文中，我们展示了电影级渲染在深度学习中的首批应用之一，提出利用电影级渲染的CT数据对合成数据驱动的网络进行微调，用于内窥镜中的单目深度估计任务。我们的实验表明：(a) 在合成数据上训练并采用照片级真实感电影级渲染数据微调的卷积神经网络（CNNs）比未微调的网络更能适应真实医学图像并展现出更鲁棒的性能；(b) 这些微调后的网络需要更少的训练数据即可收敛至最优解；(c) 使用同一场景多种照片级真实感渲染条件的数据进行微调，可防止网络学习患者特定信息，并有助于模型的泛化能力。我们的实证评估表明，采用电影级渲染数据微调的网络在渲染内窥镜图像上的深度预测误差降低56.87%，在真实猪结肠内窥镜图像上的误差降低27.49%。