k-切片互信息：关于随维度可扩展性的定量研究
信息论
2022-10-18 v2 math.IT
机器学习
摘要
切片互信息（SMI）定义为一维随机投影间互信息（MI）项的平均值。它作为经典 MI 的依赖替代度量，保留了其诸多性质，但对高维更具可扩展性。然而，SMI 自身及其估计速率如何依赖于环境维度的定量刻画——这对理解可扩展性至关重要——仍不清晰。本工作在称为 -SMI 的更广义框架下，对 SMI 随维度的依赖性提供了多面分析，该框架考虑向 维子空间的投影。利用微分熵在 2-Wasserstein 度量下连续性的新结果，我们推导了基于蒙特卡洛（MC）的 -SMI 估计误差的紧界，显式依赖于 与环境维度，揭示了它们与样本数的相互作用。随后我们将 MC 积分器与神经估计框架结合，提供了端到端的 -SMI 估计器，并建立了最优收敛速率。我们还探讨了总体 -SMI 随维度增长的渐近性，在适当矩界下给出了残差衰减的高斯近似结果。所有结果在令 时均直接适用于 SMI。我们的理论通过数值实验得到验证，并应用于 sliced InfoGAN，共同提供了对 -SMI（包括 时 SMI 这一特例）可扩展性问题的全面定量刻画。
引用
@article{arxiv.2206.08526,
title = {k-Sliced Mutual Information: A Quantitative Study of Scalability with Dimension},
author = {Ziv Goldfeld and Kristjan Greenewald and Theshani Nuradha and Galen Reeves},
journal= {arXiv preprint arXiv:2206.08526},
year = {2022}
}
备注
Accepted at NeurIPS 2022