EMPEROR：分布的高效矩保留表示
机器学习
2025-09-23 v1 机器学习
摘要
我们引入了 EMPEROR（分布的高效矩保留表示），这是一个数学上严谨且计算高效的框架，用于表示神经网络表示中产生的高维概率测度。与启发式全局池化操作不同，EMPEROR 通过其统计矩来编码特征分布。我们的方法利用切片矩理论：将特征投影到多个方向上，对每个投影拟合轻量级的一维高斯混合模型（GMMs），并将得到的切片参数聚合为一个紧凑的描述符。我们通过 Carleman 条件和 Cram\'er-Wold 定理建立了确定性保证，确保 GMM 由其切片矩唯一确定，并且我们推导出了随切片数和样本数最优缩放的有限样本误差界限。在实验中，EMPEROR 在各种数据模态上比常见的池化方案捕获了更丰富的分布信息，同时保持了计算效率和广泛的适用性。
引用
@article{arxiv.2509.16379,
title = {EMPEROR: Efficient Moment-Preserving Representation of Distributions},
author = {Xinran Liu and Shansita D. Sharma and Soheil Kolouri},
journal= {arXiv preprint arXiv:2509.16379},
year = {2025}
}