INFO-SEDD：将连续时间马尔可夫链作为可扩展信息度量估计器
机器学习
2025-02-28 v2
摘要
信息论量度在理解随机变量之间非线性关系方面发挥着关键作用，广泛应用于多个科学领域。然而，在高维离散分布的情况下，这些量的估计仍是一个开放问题。当前方法通常依赖于将离散数据嵌入到连续空间中，并应用最初为连续分布设计的神经估计器，这种过程可能无法充分捕捉数据离散性。我们考虑连续时间马尔可夫链（CTMCs），这是一种在离散状态空间上的随机过程，因其生成模型应用而受到欢迎。本文引入INFO-SEDD，一种用于估计离散数据信息论量（包括互信息和熵）的新方法。我们的方案只需训练一个参数化模型，具有显著的计算和内存优势。此外，它无缝集成到预训练网络中，允许高效复用预训练的生成模型。为评估我们的方案，我们构建了一个具有挑战性的合成基准。我们的实验表明，INFO-SEDD稳健且优于依赖嵌入技术的神经竞争者。此外，我们在真实世界任务上进行了验证：估计Ising模型的熵。总体而言，INFO-SEDD在各种场景下均优于竞争方法，并在高维情景中实现了可扩展性，为在离散分布互信息估计为焦点的新应用铺平了道路。该方法在复杂高维情景中的令人振奋结果凸显了INFO-SEDD作为信息论分析工具箱中强大的新型估计器。
引用
@article{arxiv.2502.19183,
title = {INFO-SEDD: Continuous Time Markov Chains as Scalable Information Metrics Estimators},
author = {Alberto Foresti and Giulio Franzese and Pietro Michiardi},
journal= {arXiv preprint arXiv:2502.19183},
year = {2025}
}