基于巴特斯坦多项式凸散度的神经隐式采样器显式密度近似
机器学习
2025-11-07 v2 人工智能
概率论
机器学习
摘要
基于秩的统计指标(如不变统计损失 ISL)近期涌现为训练隐式生成模型的稳健且实用有效工具。本文引入 dual-ISL,这是一种用于训练隐式生成模型的新型似然无关目标,通过互换目标分布与模型分布在 ISL 框架中的角色,使得模型密度空间中的优化问题为凸问题。我们证明, resulting rank-based discrepancy (1) 在弱收敛及 范数下连续性,(2) 对其第一个参数具有凸性——这些性质超越了 KL 散度或 Wasserstein 距离等经典散度所不具备的。基于此,我们构建理论框架将 解释为密度比 向巴特斯坦多项式基的 投影,从而推导出截断误差的精确界、收敛率以及截断密度近似的闭式表达式。我们进一步通过随机一维投影扩展至多变量情形,定义切片 dual-ISL 散度,保持凸性与连续性。我们经验性地表明,这些理论优势转化为实际优势。具体而言,在多个基准测试中,dual-ISL 收敛更快,训练更平滑稳定,更有效地防止模式崩溃——同时还能提供显式密度近似。
引用
@article{arxiv.2506.04700,
title = {Explicit Density Approximation for Neural Implicit Samplers Using a Bernstein-Based Convex Divergence},
author = {José Manuel de Frutos and Manuel A. Vázquez and Pablo M. Olmos and Joaquín Míguez},
journal= {arXiv preprint arXiv:2506.04700},
year = {2025}
}