基于评判器的正则化学习之星形几何

变分正则化是解决统计推断任务和逆问题的一种经典技术，通过深度神经网络参数化正则化的现代数据驱动方法展现出了令人印象深刻的经验性能。沿着这一路线的近期工作学习了依赖于任务的正则化。这是通过将测量和真实数据的信息整合到无监督的、基于评判器的损失函数中来实现的，其中正则化器将低值赋予可能的数据，将高值赋予不太可能的数据。然而，关于通过此过程学习的正则化器的结构及其如何与这两个数据分布相关联的理论很少。为了在这一挑战上取得进展，我们发起了一项研究，即优化基于评判器的损失函数以在特定正则化器族上学习正则化器：星体的规范函数（或Minkowski泛函）。该族包含实践中常用的正则化器，并与深度神经网络参数化的正则化器共享属性。我们专门研究了源自概率测度间统计距离的变分表示的基于评判器的损失。通过利用星形几何和对偶Brunn-Minkowski理论的工具，我们阐明了这些损失如何被解释为依赖于数据分布的对偶混合体积。这使我们能够在某些情况下推导出最优正则化器的精确表达式。最后，我们确定了哪些神经网络架构会产生这种星体规范函数，以及此类正则化器何时具有有利于优化的属性。更广泛地说，这项工作强调了星形几何的工具如何有助于理解无监督正则化器学习的几何性质。