相对平滑凸代价函数下在线镜像下降的动态遗憾
机器学习
2022-02-28 v1 最优化与控制
摘要
在线凸优化算法在动态环境中的性能通常用动态遗憾表示，它衡量决策者与一系列时变比较器相比的表现。在动态遗憾的分析中，先前工作常假设代价函数的 Lipschitz 连续或一致平滑性。然而，实践中许多重要的代价函数不满足这些条件。在此类情况下，先前的分析不适用且无法保证优化性能。在本文中，我们表明即使不存在 Lipschitz 连续和一致平滑性，也有可能界定动态遗憾。我们采用相对于某用户定义正则化函数的相对平滑概念，这是对代价函数温和得多的要求。我们首先证明在相对平滑下，动态遗憾具有基于路径长度和函数变化的上界。接着我们证明在相对强凸的附加条件下，动态遗憾可由路径长度和梯度变化界定。这些遗憾界为不同应用领域出现的各类在线优化问题提供了性能保证。最后，我们给出数值实验，展示了采用使代价函数相对平滑的正则化函数的优势。
引用
@article{arxiv.2202.12843,
title = {Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions},
author = {Nima Eshraghi and Ben Liang},
journal= {arXiv preprint arXiv:2202.12843},
year = {2022}
}