稀疏协方差神经网络
机器学习
2025-09-30 v2 机器学习
摘要
协方差神经网络 (VNN) 通过对输入数据的协方差矩阵进行图卷积来利用相关性信息作为成对连接。它们在神经科学、金融预测和传感器网络等众多应用中取得了成功。然而，VNNs 所依赖的经验协方差矩阵通常包含虚假相关性，这与实际协方差矩阵之间存在不匹配，导致 VNNs 的性能和计算效率下降。为了解决这个问题，我们提出了稀疏协方差神经网络 (S-VNN)，一种对样本协方差矩阵应用稀疏化技术并将其纳入 VNN 架构的框架。我们研究了当底层数据协方差矩阵为稀疏和稠密时的情况。当真实协方差矩阵稀疏时，我们提出硬阈值和软阈值以改进协方差估计并降低计算成本。相反，当真实协方差稠密时，我们提出一种随机稀疏化方法，根据原则策略以概率方式丢弃数据相关性。除了性能和计算效率的改进之外，我们还展示了 S-VNN 对有限样本协方差估计的稳定性优于标准 VNN 和类似的稀疏主成分分析。通过分析稀疏化对其行为的影响，我们将 S-VNN 的稳定性与数据分布和稀疏化方法联系起来。我们通过多种应用场景的实验结果从脑数据到人类动作识别，展示了在各种情境下的改进任务性能、改进稳定性和减少计算时间。
引用
@article{arxiv.2410.01669,
title = {Sparse Covariance Neural Networks},
author = {Andrea Cavallo and Zhan Gao and Elvin Isufi},
journal= {arXiv preprint arXiv:2410.01669},
year = {2025}
}