基于数学洞察的学习型去中心化优化框架
最优化与控制
2024-10-03 v1
摘要
大多数去中心化优化算法都是手工设计的。虽然这些算法具有强大的理论保证，但它们通常针对广泛的问题类别进行设计，从而不可适应或定制于特定问题的特征。本文研究数据驱动的去中心化算法，通过学习来利用问题特征以提升收敛性能。现有的学习型优化方法通常面临泛化能力差或搜索空间巨大的问题。此外，受限的邻域通信导致的大规模搜索空间为去中心化环境中的最终目标（即通过有限邻域通信达到全局解）带来了更多挑战。为解决这些挑战，本文首先推导了成功的去中心化算法规则需要满足的必要条件，以实现最优性和共识。基于这些条件，我们提出了一种新颖的数学启发式学习型优化框架，用于去中心化优化（MiLoDo）。实证结果表明，MiLoDo 训练的算法优于手工设计的算法并表现出强大的泛化能力。在 100 次迭代中通过 MiLoDo 训练的算法，在推断时运行 100,000 次迭代仍能稳健工作。此外，MiLoDo 在合成数据集上训练的算法在涉及真实数据、更高维度和不同损失函数的问题上也表现良好。
引用
@article{arxiv.2410.01700,
title = {A Mathematics-Inspired Learning-to-Optimize Framework for Decentralized Optimization},
author = {Yutong He and Qiulin Shang and Xinmeng Huang and Jialin Liu and Kun Yuan},
journal= {arXiv preprint arXiv:2410.01700},
year = {2024}
}