中文

基于巴特斯坦多项式凸散度的神经隐式采样器显式密度近似

机器学习 2025-11-07 v2 人工智能 概率论 机器学习

摘要

基于秩的统计指标(如不变统计损失 ISL)近期涌现为训练隐式生成模型的稳健且实用有效工具。本文引入 dual-ISL,这是一种用于训练隐式生成模型的新型似然无关目标,通过互换目标分布与模型分布在 ISL 框架中的角色,使得模型密度空间中的优化问题为凸问题。我们证明, resulting rank-based discrepancy dKd_K (1) 在弱收敛及 L1L^1 范数下连续性,(2) 对其第一个参数具有凸性——这些性质超越了 KL 散度或 Wasserstein 距离等经典散度所不具备的。基于此,我们构建理论框架将 dKd_K 解释为密度比 q=p/p~q = p/\tilde{p} 向巴特斯坦多项式基的 L2L^2 投影,从而推导出截断误差的精确界、收敛率以及截断密度近似的闭式表达式。我们进一步通过随机一维投影扩展至多变量情形,定义切片 dual-ISL 散度,保持凸性与连续性。我们经验性地表明,这些理论优势转化为实际优势。具体而言,在多个基准测试中,dual-ISL 收敛更快,训练更平滑稳定,更有效地防止模式崩溃——同时还能提供显式密度近似。

关键词

引用

@article{arxiv.2506.04700,
  title  = {Explicit Density Approximation for Neural Implicit Samplers Using a Bernstein-Based Convex Divergence},
  author = {José Manuel de Frutos and Manuel A. Vázquez and Pablo M. Olmos and Joaquín Míguez},
  journal= {arXiv preprint arXiv:2506.04700},
  year   = {2025}
}