自然谱融合：一阶优化中的p指数循环调度与早期决策边界对齐

谱行为在机器学习中已被广泛讨论，但优化器自身的谱偏置仍不清楚。我们认为一阶优化器表现出一种固有的频率偏好，该偏好显著重塑了优化路径。为了解决这个问题，我们提出了自然谱融合（NSF）：将训练重新构建为可控的谱覆盖和信息融合，而不仅仅是缩放步长。NSF有两个核心原则：将优化器视为动态平衡低频和高频信息的谱控制器；以及在不修改模型、数据或训练流程的情况下，以可忽略的成本周期性地重新加权频带。我们通过二阶矩项的p指数扩展实现了NSF，支持正负指数，并通过循环调度来实现。理论和实验表明，自适应方法强调低频，SGD接近中性，而负指数放大高频信息。循环调度拓宽了谱覆盖范围，改善了跨频带融合，并引发了早期决策边界对齐，此时即使损失仍然很高，准确率也会提高。在多个基准测试中，在相同的学习率策略和固定的超参数下，p指数循环调度持续降低了测试误差并表现出独特的收敛行为；在某些任务中，它仅用四分之一的训练成本就达到了基线准确率。总体而言，NSF揭示了优化器作为主动谱控制器的角色，并为一阶优化提供了一个统一、可控且高效的框架。