谱叠加：特征几何的一种理论
机器学习
2026-02-03 v1 人工智能
谱理论
机器学习
摘要
神经网络通过叠加方式表示超过自身维度的特征，迫使特征在表示空间中共享。现有方法将激活分解为稀疏线性特征，但忽略了几何结构。我们发展了一种用于研究特征几何结构的理论，通过分析权重导出矩阵的谱（特征值、特征向量等）。具体而言，我们引入框架算子 ，以谱测度描述每个特征如何在特征子空间中分配范数。虽然先前工具只能描述特征之间的两两互动，谱方法捕捉全局几何（“所有特征如何相互作用？”）。在叠加的玩具模型中，我们利用这一理论证明，容量饱和迫使谱局部化：特征坍缩到单个特征子空间，组织成紧致框架，并通过关联方案进行离散分类，将来自各处的几何（单纯形、多边形、反棱柱）全部分类。谱测度形式可用于任意权重矩阵，使我们能够在玩具之外的设置中诊断特征局部化。这些结果指向更广泛的计划：将算子理论应用于可解释性。
引用
@article{arxiv.2602.02224,
title = {Spectral Superposition: A Theory of Feature Geometry},
author = {Georgi Ivanov and Narmeen Oozeer and Shivam Raval and Tasana Pejovic and Shriyash Upadhyay and Amir Abdullah},
journal= {arXiv preprint arXiv:2602.02224},
year = {2026}
}