具有分阶段 $L^2$ 正则化的神经 Stein 判别器
机器学习
2023-05-03 v3 机器学习
统计理论
统计理论
摘要
学习区分模型分布与观测数据是统计学与机器学习中的基本问题，而高维数据对此类问题仍是具有挑战性的场景。量化概率分布差异的度量（如 Stein 差异）在高维统计检验中发挥重要作用。本文中，我们研究在训练神经网络 Stein 判别器以区分来自未知概率分布的数据与标称模型分布时 正则化的作用。通过联系神经正切核（NTK）理论，我们发展了一种在训练时间内对正则化权重进行分阶段处理的新流程，其利用了早期高度正则化训练的优势。理论上，我们证明了当 正则化权重较大时，训练动态由核优化（即“惰性训练”）近似，且在 个样本上的训练以 （至多一个对数因子）的速率收敛。该结果在保证与零时刻 NTK 主导特征模充分对齐的假设下保证了最优判别器的学习。分阶段 正则化的优势在模拟高维数据及评估图像数据生成模型的应用中得到展示。
引用
@article{arxiv.2207.03406,
title = {Neural Stein critics with staged $L^2$-regularization},
author = {Matthew Repasky and Xiuyuan Cheng and Yao Xie},
journal= {arXiv preprint arXiv:2207.03406},
year = {2023}
}