当下降过于稳定时:事件触发的哈密顿学习优化
机器学习
2026-05-11 v1 最优化与控制
摘要
固定预算非凸优化可能失败,并非因为局部下降不稳定,而是因为其过于稳定:在到达附近的驻点后,优化器可能会将剩余的评估用于细化无信息的局部极小值。我们将这种失败模式表述为优化器动力学上的控制问题,其中学习者必须决定何时下降、何时利用有希望的盆地,以及何时停滞应触发向其他位置移动。我们提出了 SHAPE,这是一种结构化自适应 port-Hamiltonian 任务族优化器,用于在局部信息下进行事件触发的极小值搜寻。从梯度下降动力学出发,SHAPE 将优化提升到增广相空间 ,其中原始状态 表示候选解,余切变量 携带方向敏感性,控制器 提供来自当前梯度预言机的处理后信息。在每个阶段内,学习到的哈密顿向量场诱导结构化局部下降;在跨阶段中,实现中的固定事件时钟在检测到局部平衡时更新端口和记忆,分析中将依赖于阶段的视野视为直接推广。这种设计保持了与无源性兼容的结构,同时允许同一训练策略使用干净、随机或估计的梯度输入。在固定预算非凸优化任务上的实验表明,与固定策略优化器相比,SHAPE 提高了当前最佳性能。这些结果表明,自适应哈密顿能量塑形提供了一种原则性机制,用于在困难的优化景观中平衡下降、探索和预算分配。
引用
@article{arxiv.2605.06868,
title = {When Descent Is Too Stable: Event-Triggered Hamiltonian Learning to Optimize},
author = {Yi Wang and Chandrajit Bajaj},
journal= {arXiv preprint arXiv:2605.06868},
year = {2026}
}