fastHDMI:用于高维数据的快速互信息估计
机器学习
2024-10-15 v1 机器学习
应用统计
统计计算
摘要
本文介绍了 fastHDMI,一个用于高维数据集中高效变量筛选的 Python 软件包,特别是用于神经影像数据。本工作首次将三种互信息估计方法用于神经影像变量选择,这是一种新颖的方法,通过 fastHDMI 实现。这些突破性进展增强了我们分析神经影像数据集复杂结构的能力,为高维空间中的变量选择提供了更好的工具。使用预处理的 ABIDE 数据集,我们通过大量仿真测试评估了这些方法的性能。测试涵盖了包括线性和非线性关联以及连续和二元结果等 various conditions。我们的结果突出了基于 FFTKDE 的互信息估计在连续非线性结果的特征筛选中的优势,而基于分箱的方法在二元结果的非线性概率原像中表现更佳。对于线性仿真,Pearson 相关系数和基于 FFTKDE 的方法在连续结果上表现相当,而 Pearson 在二元结果的线性概率原像中表现更好。进一步的案例研究使用 ABIDE 数据集进一步展示了 fastHDMI 的实际效用,展示了基于我们筛选技术所选变量构建的模型的预测能力。这项研究确认了 fastHDMI 的计算效率和方法学优势,显著丰富了可用于神经影像分析的工具包。
引用
@article{arxiv.2410.10082,
title = {fastHDMI: Fast Mutual Information Estimation for High-Dimensional Data},
author = {Kai Yang and Masoud Asgharian and Nikhil Bhagwat and Jean-Baptiste Poline and Celia M. T. Greenwood},
journal= {arXiv preprint arXiv:2410.10082},
year = {2024}
}
备注
31 pages, 5 figures