EvoGrad：在可微异世界中应用元启发式算法
神经与进化计算
2025-06-10 v1
摘要
可微分编程通过高效的梯度方法训练复杂模型（如拥有数十亿甚至数万亿参数的深度神经网络）而取得了突破性进展。然而，传统的进化计算 (EC) 和群体智能 (SI) 算法在离散或复杂搜索空间中取得了广泛成功，却通常不利用局部梯度信息，限制了其优化效率。在本文中，我们引入 EvoGrad，一个统一的可微框架，将 EC 和 SI 与梯度优化方法结合。EvoGrad 将传统的进化和群体算子（如选择、变异、交叉和粒子更新）转换为可微算子，实现端到端的梯度优化。在基准优化函数和小型神经网络回归器的训练中进行了大量实验，结果表明，我们的可微化 EC 和 SI 元启发式算法在大多数情景下均优于传统、梯度不可知的算法。我们的实验结果显示，完全可微的进化和群体优化的显著优势，为混合优化框架树立了新标准。
引用
@article{arxiv.2506.06320,
title = {EvoGrad: Metaheuristics in a Differentiable Wonderland},
author = {Beatrice F. R. Citterio and Andrea Tangherloni},
journal= {arXiv preprint arXiv:2506.06320},
year = {2025}
}