最小 HGR 相关原则：从边缘分布到联合分布
信息论
2015-04-24 v1 math.IT
摘要
给定随机变量 和 的低阶矩信息，在忠实于给定矩的条件下，何种分布能最小化 与 之间的 Hirschfeld-Gebelein-R\'{e}nyi (HGR) 最大相关系数？回答这一问题对于拟合 与 之间依赖性最小的模型尤为重要。本文首先在连续情形下研究此问题，表明在给定的前两阶矩分布类中，联合高斯分布实现了最小的 HGR 相关系数。随后，我们在离散情形下提出类似问题，固定随机变量 和 的两两边缘分布。为回答离散情形下的问题，我们首先推导了具有固定两两边缘分布类中 HGR 相关系数的下界。接着我们证明，若存在满足给定两两边缘分布的具有特定 {\it 加法} 结构的分布，则该下界是紧的。此外，具有加法结构的分布实现了最小的 HGR 相关系数。最后，我们得出结论：在概率单纯形上，获得包含加法结构分布的两两边缘分布这一事件具有正的 Lebesgue 测度。
引用
@article{arxiv.1504.06010,
title = {Minimum HGR Correlation Principle: From Marginals to Joint Distribution},
author = {Farzan Farnia and Meisam Razaviyayn and Sreeram Kannan and David Tse},
journal= {arXiv preprint arXiv:1504.06010},
year = {2015}
}