从贝叶斯视角看可逆残差网络求解线性逆问题的训练
数值分析
2023-07-21 v1 数值分析
摘要
在过去十年中，适应数据固有结构的基于学习的逆问题方法已变得无处不在。除了对其常令人瞩目的性能进行实证探究外，越来越多的工作致力于理论保证问题。最近，[3] 利用可逆残差网络（iResNets）在合理假设下学习可证明收敛的正则化方法。他们通过使用 iResNet 逼近线性正演算子来强制这些保证。在相关样本上的监督训练将 data dependency（数据依赖性）引入该方法。此背景下一个开放问题是数据的固有结构在多大程度上影响训练结果，即学习到的重构方案。在此我们从贝叶斯视角探讨训练设计与数据依赖性这一微妙的相互作用，并阐明其机遇与局限。我们通过分析 iResNet 逆的基于重构的训练来化解这些局限，其中我们表明该优化策略引入了无法通过逼近训练实现的数据依赖程度。我们进一步提供并讨论了一系列支撑并扩展理论发现的数值实验。
引用
@article{arxiv.2307.10431,
title = {Bayesian view on the training of invertible residual networks for solving linear inverse problems},
author = {Clemens Arndt and Sören Dittmer and Nick Heilenkötter and Meira Iske and Tobias Kluth and Judith Nickel},
journal= {arXiv preprint arXiv:2307.10431},
year = {2023}
}