面向多目标优化的多梯度学习式优化方法
机器学习
2023-11-02 v1
摘要
人工智能 (AI) 用于科学的发展催生了基于学习的研究范式，迫切需要重新评估多目标优化 (MOO) 方法的设计。新一代 MOO 方法应根植于自动化学习而非人工设计。本文引入一种用于优化 MOO 问题的新型自动学习范式，并提出多梯度学习式优化 (ML2O) 方法，其自动学习从多个梯度到更新方向的生成器（或映射）。作为一种基于学习的方法，ML2O 利用当前步的信息获取局部地形知识，并融合从历史迭代轨迹数据中提取的全局经验。通过引入一种新的保护机制，我们提出保护式多梯度学习式优化 (GML2O) 方法，并证明 GML2O 生成的迭代序列收敛至 Pareto 临界点。实验结果表明，我们所学习的优化器在多任务学习 (MTL) 神经网络训练上优于人工设计的同类方法。
引用
@article{arxiv.2311.00559,
title = {Learning to optimize by multi-gradient for multi-objective optimization},
author = {Linxi Yang and Xinmin Yang and Liping Tang},
journal= {arXiv preprint arXiv:2311.00559},
year = {2023}
}