用于定位顿悟转变的分布谱诊断方法
机器学习
2026-05-12 v1 机器学习
摘要
在顿悟现象中，模型首先拟合训练数据，而测试准确率仍然很低，之后才开始泛化。我们提出，在测试准确率上升之前，能否从观测到的训练轨迹中定位这种转变，并将顿悟转变定位形式化为一个具有明确阈值/假阳性率/提前时间权衡的诊断问题。任务相关的可观测量被总结为经验分布，映射到Wasserstein/分位数坐标，并通过Hankel动态模式分解进行分析；由此产生的重构残差，连同谱和有效秩，构成了诊断输出。在留出的模加法Transformer运行中，该残差在运行级别上对顿悟与非顿悟的区分达到了约0.93的AUROC；在固定的持续阈值操作规则下，真阳性警报可以在发作前发出，其提前时间与假警报率和不确定性区间一同报告。扰动实验表明，在测试的wd=1池中，高残差窗口的短时扰动偏差约为低残差窗口的3倍。在相同数据的范数窗口对照中，扰动敏感性与残差排序一致，而非总参数范数排序，这表明在所研究的wd=1动力学中，残差在窗口级别不仅仅是总范数的代理。范数信号仍然是强大的运行级别状态指标，而在当前协议下，对数概率是测试的可观测量中表现最好的。我们将残差定位为所研究的模算术Transformer设置中的一个窗口级监测和定位信号，而非一个通用的早期预警预测器或干预规则。
引用
@article{arxiv.2605.08237,
title = {Distributional Spectral Diagnostics for Localizing Grokking Transitions},
author = {Ziyue Wang and Yufeng Ying and Takafumi Kanamori},
journal= {arXiv preprint arXiv:2605.08237},
year = {2026}
}