通过温和乐观进行在线（非）凸学习
机器学习
2025-10-29 v3 最优化与控制
机器学习
摘要
乐观在线学习旨在利用提供可靠信息的专家来预测未来。然而，当涉及此类专家的实际构建时，这种隐式乐观可能受到挑战。一个基本示例是近似当前问题的最小化器并将其用作专家。在动态环境背景下，此类专家仅传达部分相关信息，因其可能导致过拟合。为解决该问题，我们在本工作中引入\emph{温和乐观}（OT）在线学习框架，以处理此类不完美专家。作为首要贡献，我们表明温和乐观是通过提出对在线梯度下降与镜像下降简单而有力的修改，用于在线非凸学习的富有成果的范式。其次，我们推导了针对凸损失的第二种 OT 算法；第三，在真实数据集与玩具实验上评估了温和乐观的实用效率。
引用
@article{arxiv.2301.07530,
title = {Online (Non-)Convex Learning via Tempered Optimism},
author = {Maxime Haddouche and Olivier Wintenberger and Benjamin Guedj},
journal= {arXiv preprint arXiv:2301.07530},
year = {2025}
}