Kourkoutas-Beta：一种以 Sunspike 为驱动、兼具沙漠风情的 Adam 优化器

Transformer 神经网络在物理问题上应用日益增多。在数据驱动的偏微分方程（PDE）替代模型中，来自不同边界和初始条件的训练样本会导致损失波动、梯度尖锐；在物理信息神经网络（PINN）中，刚性复合损失会放大这一效应。我们引入 Kourkoutas-Beta，这是一种 Adam 风格优化器，其中固定的第二矩衰减系数 beta2 被替换为由受限“sunspike”比率驱动的层级动态值：当前汇聚梯度范数除以过去范数指数移动平均（EMA），压缩至 [0,1) 区间。尖峰会将 beta2 降至 beta2_min；平稳阶段保持其接近 beta2_max。可选功能包括 leaky-AMSGrad（衰减）、信任域裁剪（max_ratio）、自适应微小项以及几种偏置校正模式（"none"、"beta2max"、"exact"）。在关闭所有功能且 bias_correction="none"时，该方法恰好等价于 Adam。我们在四个实验设置中进行测试：(i) 一个 Transformer PDE 替代模型（Heat2D），(ii) 用于热传导的 3D PINN（Heat3D），(iii) 带有抖动和稀有触发突发事件的轻量级 MLX 人工合成任务，以及 (iv) 在 30MB enwik8 上的字符级 Transformer（small-enwik8）。Kourkoutas-Beta 在固定 beta2 Adam 基础上提升了稳定性和最终损失。在 small-enwik8 上，相较于 Adam-0.95 降低约 38% 的每字符位数，相较于 Adam-0.999 降低约 58%，且方差更小。该方法保持与 Adam 相同的可替换性，在测试环境 A-C 中的运行开销与 Adam 相当，在测试环境 D 中仅增加个位数百分比。它在保持 Adam 风格收敛保证的同时，提高了在梯度尖锐情况下的鲁棒性。