利用全相关探索高阶神经网络节点交互
机器学习
2024-02-08 v1 机器学习
摘要
在生态系统、协作网络和人脑等领域中，变量以复杂的方式相互作用。然而，准确刻画高阶变量交互（HOIs）是一个困难的问题，当 HOIs 在数据中发生变化时，该问题进一步加剧。为解决这一问题，我们提出了一种名为局部相关解释（CorEx）的新方法，通过首先基于数据点在数据流形上的邻近性对其进行聚类，从而在局部尺度上捕获 HOIs。随后，我们使用一种称为全相关的互信息多元版本，在每个聚类内构建数据的潜在因子表示，以学习局部 HOIs。我们使用局部 CorEx 探索合成数据与真实数据中的 HOIs，以提取关于数据结构的隐藏洞察。最后，我们展示了局部 CorEx 在探索和解释已训练神经网络内部机制方面的适用性。
引用
@article{arxiv.2402.04440,
title = {Exploring higher-order neural network node interactions with total correlation},
author = {Thomas Kerby and Teresa White and Kevin Moon},
journal= {arXiv preprint arXiv:2402.04440},
year = {2024}
}