KL 散度的自适应对称化
机器学习
2026-05-12 v3
摘要
前向 Kullback-Leibler (KL) 散度是拟合参数化分布到样本的常用目标，由于其可计算性以及等价于最大似然估计 (MLE)。但其固有的非对称性可能导致泛化能力较差的退化解。虽然对称的 Jeffreys 散度提供了更平衡的替代方案，但其优化具有挑战性 due to reverse KL 项的存在。生成对抗网络（GANs）通过 min-max 公式规避了这种不可计算性，但代价是引入新的不稳定问题。本工作提出一种非对抗方法来最小化 Jeffreys 散度。为此，它使用一个代理模型来可计算地近似主模型的 reverse KL 散度。主模型和代理模型联合拟合数据，以获得一种适用于训练期间调整模型优先级的受约束优化公式。我们在各种任务上评估了该框架，包括密度估计和基于模拟的推断，证明该方法在低数据 regime 中比 MLE 和 GANs 更稳定、更准确。
引用
@article{arxiv.2511.11159,
title = {Adaptive Symmetrization of the KL Divergence},
author = {Omri Ben-Dov and Luiz F. O. Chamon},
journal= {arXiv preprint arXiv:2511.11159},
year = {2026}
}