中文

固有噪声巩固:Doob势垒条件扩散将模拟设备噪声转化为持续学习资源

机器学习 2026-07-08 v1 神经与进化计算

摘要

在模拟神经形态硬件上,固有的设备噪声通常是一种精度税。我们询问它是否可以反过来巩固记忆。我们将每个突触的巩固视为一个Doob h-变换:以每个权重的随机动力学永远不会跨越其巩固值周围的内存关键势垒为条件。条件扩散获得了一个额外的漂移项 sigma^2 d/dw log h,这是一种由噪声方差本身放大的恢复力,并在势垒处发散。我们对新颖性持明确态度:我们的规则也包含的锚定漂移 -s(w-mu) 不是我们的(OUA、MESU和EWC的极限),我们放弃它。我们只声称 (a) 将Doob势垒条件作为突触规则的结合,据我们所知是前所未有的(我们发现的每个h-变换用途都是生成建模,没有一个是突触的),以及 (b) 一个可证伪的预测:增加固有噪声非单调地改善顺序任务保留,这是一个锚定漂移方法无法产生的倒U形。我们将其预先注册为go/no-go门控;它通过了。在单头Split-MNIST(8个种子)上,该规则在内部最优值处将保留率提高了10.9个百分点(配对Wilcoxon p=0.004),而匹配的OU/EWC/MESU锚点是单调的。消融条件处理消除了效果;最优值跟踪势垒;倒U形在第二个任务流以及噪声进入前向传播的实现中仍然存在。然后我们测量了真实BrainScaleS-2硅片上的固有噪声(加性的、试验间独立的、可通过片上平均调整),并在芯片上运行该规则,将其噪声纳入训练循环:势垒条件在匹配的平均精度下,比匹配的对照更好地保留了先前任务15.6个百分点,这是一种稳定性-可塑性转变,而不是净精度提升(单种子;保留率已测量,能耗已建模)。因此,固有的模拟噪声变成了一种整合红利,而数字加速器必须消耗能量才能产生这种红利。

关键词

引用

@article{arxiv.2607.06924,
  title  = {Intrinsic-Noise Consolidation: A Doob-Barrier-Conditioned Diffusion Turns Analog Device Noise into a Continual-Learning Resource},
  author = {Gunner Levi Howe},
  journal= {arXiv preprint arXiv:2607.06924},
  year   = {2026}
}

备注

14 pages, 9 figures. Includes a proof-of-concept training run on real BrainScaleS-2 neuromorphic silicon (hardware-in-the-loop). Code, and data