协方差散射变换
机器学习
2025-12-04 v2 机器学习
摘要
依赖协方差信息的机器学习与数据处理技术被广泛应用，因为它们能在无监督和无标签设置中识别有意义的模式。作为一个突出例子，主成分分析（PCA）将数据点投影到其协方差矩阵的特征向量上，以捕获最大方差的方向。然而，这种映射在两个方面存在不足：它无法捕获低方差方向上的信息（当数据包含高方差噪声时这一点尤为相关）；并且在少样本情况下提供不稳定的结果，特别是当协方差特征值接近时。协方差神经网络，即将协方差矩阵作为图使用的图神经网络，表现出比PCA更好的对估计误差的稳定性，并能在协方差谱中学习更具表达力的函数，但需要训练且在有标签设置下运行。为了兼得两者的优势，我们提出了协方差散射变换（CSTs），这是一种深度无训练网络，它将协方差谱中局部化的滤波器依次应用于输入数据，并通过非线性操作产生具有表达力的层次化表示。我们将这些滤波器定义为协方差小波，用于捕获特定且详细的协方差谱模式。我们通过剪枝机制提高了CSTs的计算与内存效率，并证明与PCA相比，其由有限样本协方差估计引起的误差对接近的协方差特征值较不敏感，从而提升了稳定性。我们在4个收集神经退行性疾病患者数据的数据集上，基于皮层厚度测量进行年龄预测的实验表明，CSTs在低数据设置下能产生稳定的表示，如同VNNs但无需任何训练，并且相对于更复杂的学习模型取得了相当或更好的预测结果。
引用
@article{arxiv.2511.08878,
title = {Covariance Scattering Transforms},
author = {Andrea Cavallo and Ayushman Raghuvanshi and Sundeep Prabhakar Chepuri and Elvin Isufi},
journal= {arXiv preprint arXiv:2511.08878},
year = {2025}
}