相关随机变量层次聚类中互信息的贝叶斯替代方案
机器学习
2016-08-07 v2 机器学习
定量方法
摘要
在凝聚层次聚类（AHC）中将互信息用作相似性度量引发了一个重要问题：需要对变量的维度进行修正。在本工作中，我们将 AHC 过程中合并相关多元正态变量的决策表述为贝叶斯模型比较。我们发现，贝叶斯公式自然地将经验协方差矩阵收缩至先验设定的矩阵（例如单位矩阵），提供了自动停止规则，并通过一个随变量维度缩放该项的修正项来校正维度影响。此外，所得的对数贝叶斯因子渐近正比于互信息的插件估计值，并带有一个与贝叶斯信息准则一致的维度加法修正项。我们在模拟数据和真实数据上研究了这些互信息贝叶斯替代方案（精确形式和渐近形式）的行为。首先在模拟中得出了一个令人鼓舞的结果：基于对数贝叶斯因子的层次聚类在分类准确率方面优于现成的聚类技术以及原始和归一化的互信息。在一个玩具示例中，我们发现贝叶斯方法得出的结果与互信息聚类技术相似，但具有自动阈值设定的优势。在测量大脑活动的真实功能磁共振成像（fMRI）数据集上，它识别出了与标准程序既定结果一致的聚类。在此应用中，归一化互信息表现出高度非典型的行为，即系统地倾向于非常大的聚类。这些初步实验表明，所提出的互信息贝叶斯替代方案是层次聚类的一种有用的新工具。
引用
@article{arxiv.1501.05194,
title = {A Bayesian alternative to mutual information for the hierarchical clustering of dependent random variables},
author = {Guillaume Marrelec and Arnaud Messé and Pierre Bellec},
journal= {arXiv preprint arXiv:1501.05194},
year = {2016}
}