基于互信息界的总相关估计局限性的理解
统计方法学
2023-05-01 v1 信息论
math.IT
摘要
总相关（TC）是衡量多维随机变量中边际分布之间相关性的重要指标，常作为表示学习中的归纳偏置。已有研究表明，TC 值可通过分解利用互信息边界进行估计。然而，我们通过理论推导和定性实验发现，由于在分解过程中使用了重要性采样，当采样中的提议分布与目标分布差异显著时，基于互信息界估计的 TC 值的偏差会被放大。为缓解估计偏差问题，我们提出了一种基于监督学习的 TC 估计校正模型，该模型以基于互信息界的 TC 估计器的训练迭代损失序列作为输入特征，输出真实的 TC 值。实验表明，我们所提方法能提高 TC 估计的准确性，并消除 TC 估计过程产生的方差。
引用
@article{arxiv.2304.13633,
title = {Understanding the limitation of Total Correlation Estimation Based on Mutual Information Bounds},
author = {Zihao Chen},
journal= {arXiv preprint arXiv:2304.13633},
year = {2023}
}