EXAdam：自适应交叉矩的力量

本文介绍EXAdam ($\textbf{EX}$tended $\textbf{Adam}$)，一种新型优化算法，基于广泛使用的 Adam 优化器构建。EXAdam 包含两个关键增强：(1) 用于改进矩估计的新型去偏估计项；(2) 基于梯度的加速机制，以提高对当前损失景观的响应性。这些创新协同工作，旨在解决原始 Adam 算法的局限性，可能提供更好的收敛性能、更强的鲁棒性（对超参数选择的鲁棒性），尽管需要进一步调查。我们对EXAdam的组件及其相互作用进行了理论分析，突出了该算法在导航复杂优化景观方面的潜在优势。实证评估表明，EXAdam在收敛速度上优于Adam，在 CIFAR-10 数据集上训练的 CNN 中，分别实现了 38.46% 的收敛速度提升，以及在训练、验证和测试准确率上的提升分别为 1.96%、2.17%和 1.17%。尽管这些结果令人鼓舞，但需要在更广泛的任务上进行进一步的实证验证才能完全把握EXAdam的效能。然而，EXAdam代表了自适应优化技术的重大进展，具有广泛的机器学习和人工智能应用前景。本工作旨在为机器学习和人工智能领域的更高效、自适应且通用的优化方法的持续发展作出贡献。