通过Hill-ADAM探索损失空间

本文介绍Hill-ADAM。Hill-ADAM是一种聚焦于跳出特定损失景观中局部极小值以寻找全局极小值的优化器。Hill-ADAM通过确定性探索状态空间来逃离局部极小值，这消除了随机梯度更新中不确定性，同时极少在首次到达的极小值处收敛。我们首先推导ADAM优化器在特定模型状态下的步长的解析近似。随后定义决定ADAM在逃离局部极小值方面局限性的首要条件。提出的优化器算法Hill-ADAM在误差最小化与最大化之间交替进行。它先最大化以逃离局部极小值，然后再最小化。这种交替过程为损失空间的整体探索提供了可能，使我们能够推导出全局极小值的状态。Hill-ADAM在5个损失函数和12个琥珀色饱和至更凉色调图像色彩校正实例上进行测试。