Markov 链解码器克服了 Lipschitz 生成模型的重尾局限性
机器学习
2026-05-20 v1 人工智能
机器学习
摘要
重尾分布在性能评估、网络流量和风险建模中广泛存在。这种行为对现代深度生成模型构成了根本性挑战。标准变分自编码器(VAE)采用高斯解码器似然分布和受 Lipschitz 约束的神经网络,结构上无法产生重尾输出:高斯尾部呈指数衰减,Lipschitz 连续性防止解码器从潜在空间输入中放大稀有事件,以克服这种衰减。我们提供了对该局限性的理论表征,并使用合成的 Pareto 数据进行了受控的经验演示,数据跨越尾指数 {2, 3, 5, 30} 和维度 d {1, 5, 10}。作为解决方案,我们将高斯解码器替换为基于马尔可夫链的 Phase-Type(PH)分布,同时保持编码器、潜在空间和训练程序不变。PH 分布可以对任何正值分布进行任意精度的近似,包括重尾分布族。实验结果显示,基于 PH 的模型相对于高斯基线,在重尾数据上将尾部 Kolmogorov-Smirnov 距离缩小最高可达 x6,将极端分位数误差缩小最高可达 x10。这些结果表明,将基于马尔可夫链的分布集成到生成模型的解码器中,为解决重尾生成问题提供了原则且实际有效的解决方案。
关键词
引用
@article{arxiv.2605.18931,
title = {Markov Chain Decoders Overcome the Heavy-Tail Limitations of Lipschitz Generative Models},
author = {Abdelhakim Ziani and Andras Horvath and Paolo Ballarini},
journal= {arXiv preprint arXiv:2605.18931},
year = {2026}
}