通过混合 Cramer-Wold 距离实现平衡的边缘与联合分布学习
机器学习
2023-12-07 v1 机器学习
摘要
在训练生成模型的过程中，衡量两个高维概率分布——生成分布与观测数据集的真实分布——之间的差异至关重要。近来，一种涉及对高维分布进行切片的方法引起了越来越多的关注，其中 Cramer-Wold 距离成为一种有前景的方法。然而，我们发现 Cramer-Wold 距离主要侧重于联合分布学习，而理解边缘分布模式对于有效的合成数据生成至关重要。在本文中，我们引入了一种新的差异性度量——混合 Cramer-Wold 距离。该度量使我们能够同时捕获边缘和联合分布信息，因为它结合了在标准基向量上具有点质量的混合测度。基于混合 Cramer-Wold 距离，我们提出了一种名为 CWDAE（Cramer-Wold 分布自编码器）的新型生成模型，该模型在应用于真实表格数据集时，在生成合成数据方面表现出卓越的性能。此外，我们的模型提供了灵活调整数据隐私级别的便利性。
引用
@article{arxiv.2312.03307,
title = {Balanced Marginal and Joint Distributional Learning via Mixture Cramer-Wold Distance},
author = {Seunghwan An and Sungchul Hong and Jong-June Jeon},
journal= {arXiv preprint arXiv:2312.03307},
year = {2023}
}