MMD-Newton 方法用于多目标优化
机器学习
2025-05-21 v1
摘要
最大均值差异 (MMD) 已被广泛用于衡量概率分布之间的距离。本文提出将 MMD 用于求解连续多目标优化问题 (MOP)。对于求解 MOP，常见方法是最小化近似 Pareto 前沿集合与参考集合之间的最近距离（如 Hausdorff 距离）。将这两个集合视为经验分布，本文提出使用 MMD 来衡量它们之间的距离。为最小化 MMD 值，我们给出其关于搜索变量的梯度和 Hessian 矩阵的解析表达式，并据此设计了一种新颖的以 MMD 为基础的 Newton (MMDN) 方法。我们还分析了 MMD 梯度和 Hessian 的理论属性，包括一阶 stationary 条件和 Hessian 的特征谱，这些都是验证 MMDN 正确性的重要因素。为解决复杂问题，我们提出将 MMDN 与多目标进化算法 (MOEA) 混合，其中先执行 EA 几次迭代以接近全局 Pareto 前沿，然后以 MOEA 的结果作为初始值来高效细化近似。我们在 11 个广泛使用的基准问题上经验性测试混合算法，结果表明，相同计算预算下的混合 (MMDN + MOEA) 比 EA 单独使用时可实现显著更高的优化精度。
引用
@article{arxiv.2505.14610,
title = {MMD-Newton Method for Multi-objective Optimization},
author = {Hao Wang and Chenyu Shi and Angel E. Rodriguez-Fernandez and Oliver Schütze},
journal= {arXiv preprint arXiv:2505.14610},
year = {2025}
}