用拓扑对齐谱诊断神经网络的收敛性
机器学习
2026-04-02 v2
摘要
神经网络中的表征相似性本质上是尺度依赖的，然而广泛使用的指标如中心核对齐（CKA）和Procrustes分析仅提供全局标量估计。这些标量通常无法区分微观尺度的几何抖动（局部噪声）和宏观尺度的语义重组，将多尺度结构关系压缩为单一无信息的值。我们引入拓扑对齐谱（TAS），一种多尺度诊断工具，它通过变化邻域大小扫描归一化平均Jaccard相似度。通过将度量归一化到解析导出的期望范围（从随机下的期望重叠到完美对齐），TAS在一系列尺度上产生维度不变的度量，其中1表示完美结构对齐，0表示随机水平一致，负值表示特定尺度上的主动反对齐。在合成点云上的实验表明，TAS能够识别不同类型的对齐扰动：局部抖动损害细粒度邻域但保留簇级结构，而簇中心洗牌保留局部相似性但破坏全局对齐——这些现象在全局单标量度量下不可见或被混淆。将TAS应用于MultiBERTs集合揭示，微调引起跨尺度的全面拓扑重组，挑战了任务适应仅是保守或局部的观点。虽然来自不同随机种子的模型在局部仍然发散，但语义簇成为对齐的主导尺度。因此，TAS为诊断深度网络中的收敛和表征稳定性提供了一种细粒度、拓扑感知的替代方案。
引用
@article{arxiv.2411.08687,
title = {Diagnosing Neural Convergence with Topological Alignment Spectra},
author = {Tiago F. Tavares and Fabio Ayres and Paris Smaragdis},
journal= {arXiv preprint arXiv:2411.08687},
year = {2026}
}