高斯混合学习最优率的熵刻画
统计理论
2023-06-28 v2 信息论
math.IT
统计理论
摘要
我们考虑估计具有紧支撑或次高斯混合分布的多维高斯混合（GM）的问题。该类（在 Hellinger、TV 和 KL 散度下）的极小极大估计率是一个长期未决问题，即便在一维下亦然。本文中我们用该类的度量熵刻画此速率（对所有常数维数）。此类刻画源自 Le Cam (1973)、Birge (1983)、Haussler 与 Opper (1997)、Yang 与 Barron (1999) 的开创性工作。然而，对 GM 而言，早期工作缺失且被广泛寻求的一个关键要素是一个比较结果，表明 KL 与平方 Hellinger 距离在该类上一致地彼此相差一个常数倍。我们的主要技术贡献在于证明这一事实，并由此导出 Hellinger 与 KL 下估计率的熵刻画。有趣的是，序列（在线学习）估计率由全局熵刻画，而单步（批量）率对应于局部熵，平行于近期 Neykov (2022) 与 Mourtada (2023) 针对高斯序列模型发现的类似结果。此外，由于 Hellinger 是真正度量，我们的比较表明 KL 下的 GM 在乘法常数意义下满足三角不等式，意味着恰当与非恰当估计率一致。
引用
@article{arxiv.2306.12308,
title = {Entropic characterization of optimal rates for learning Gaussian mixtures},
author = {Zeyu Jia and Yury Polyanskiy and Yihong Wu},
journal= {arXiv preprint arXiv:2306.12308},
year = {2023}
}