基于概率模型推断的熵与信息量估计器
机器学习
2022-12-13 v4 机器学习
统计计算
统计方法学
摘要
估计熵与互信息等信息论量在统计与机器学习的诸多问题中处于核心地位，但在高维情形下具有挑战性。本文提出基于推断的熵估计器（EEVI），其为概率生成模型中任意变量上的许多信息量提供上下界。这些估计器使用重要性采样，其提议分布族包含摊销变分推断与序贯蒙特卡洛，可针对目标模型定制，并以高精度逼近真实信息值。我们给出 EEVI 的若干理论性质，并在两个医学领域问题上展示其可扩展性与有效性：（i）在诊断肝脏疾病的专家系统中，我们根据给定观察症状与患者属性模式下各医学检查对潜在疾病的 informativeness 进行排序；（ii）在碳水化合物代谢的微分方程模型中，给定患者的餐饮与用药安排，我们找出能最大化关于糖尿病患者胰岛素敏感性的信息量的血糖测量最优时刻。
引用
@article{arxiv.2202.12363,
title = {Estimators of Entropy and Information via Inference in Probabilistic Models},
author = {Feras A. Saad and Marco Cusumano-Towner and Vikash K. Mansinghka},
journal= {arXiv preprint arXiv:2202.12363},
year = {2022}
}
备注
18 pages, 8 figures. Appearing in AISTATS 2022