面向稀缺神经数据的尺度感知注意力:在 Sleep-EDF EEG 上的 RG-Flow Transformer
机器学习
2026-07-11 v1 人工智能
摘要
脑场电位是无尺度的:它们的功率谱遵循 定律,其非周期指数 追踪皮层状态,特别是睡眠深度是 的转变。我们询问一个具有显式重正化群(RG)归纳偏置的 transformer——RG-Flow Transformer,它将普通的自注意力与一个具有可学习反常维度 、块自旋粗粒化和熵门控同步桥的尺度感知流耦合起来——在真实、稀缺的 EEG 上是否比参数匹配的普通 transformer 具有优势。使用 PhysioNet Sleep-EDF 语料库,采用严格的按受试者留出的无泄漏协议,我们(i)在 5 类 AASM 睡眠分期上对 RG-Flow 与参数匹配的普通 transformer 和仅层次结构的消融进行基准测试,(ii)扫描每个受试者的数据预算以寻找在数据稀缺时预测的归纳偏置交叉点,以及(iii)测试 RG-Flow 学习到的 是否在样本外追踪测量的光谱指数 ——这是普通模型不具备的量。在 5 名受试者和 5 个种子下,通过留一受试者交叉验证,RG-Flow 和普通 transformer 在 5 类分期上统计上无法区分(77.3% 对 77.0% 准确率;配对 ),并且预测的稀缺数据交叉点没有出现:普通模型在每个数据受限预算下数值上都领先。真正区分模型的是可解释性——RG-Flow 在样本外恢复了连续光谱指数( 恢复 ),这是普通架构无法比拟的能力。
引用
@article{arxiv.2607.11950,
title = {Scale-Aware Attention for Scarce Neural Data: An RG-Flow Transformer on Sleep-EDF EEG},
author = {Dibakar Sigdel},
journal= {arXiv preprint arXiv:2607.11950},
year = {2026}
}