基于动态合成网络的自适应三维去散射方法
图像与视频处理
2022-02-25 v2 光学
摘要
深度学习已广泛应用于散射环境下的成像。一种常见框架是训练去散射网络，通过去除散射伪影来恢复图像。为了在广泛的散射条件下取得最佳结果，需要针对每种条件训练各自的“专家”网络。然而，当测试条件与训练条件不同时，专家网络的性能会急剧下降。另一种暴力方法是使用来自多样散射条件的数据训练一个“通才”网络。这通常需要更大的网络来囊括数据中的多样性，以及足够大的训练集以避免过拟合。在此，我们提出一种称为动态合成网络（DSN）的自适应学习框架，它动态调整模型权重并适应不同的散射条件。该适应性通过一种新颖的“专家混合”架构实现，该架构利用门控网络融合多个专家来动态合成一个网络。我们在全息三维粒子成像中针对多种散射条件演示了 DSN。我们在仿真中表明，我们的 DSN 在连续散射条件下具有泛化能力。此外，我们表明通过完全在仿真数据上训练 DSN，该网络可泛化到实验并实现鲁棒的三维去散射。我们期望同一概念可找到许多其他应用，例如散射介质中的去噪与成像。广义上，我们的动态合成框架为设计高度自适应的深度学习和计算成像技术开辟了新范式。
引用
@article{arxiv.2107.00484,
title = {Adaptive 3D descattering with a dynamic synthesis network},
author = {Waleed Tahir and Hao Wang and Lei Tian},
journal= {arXiv preprint arXiv:2107.00484},
year = {2022}
}