非凸在线预测的动态局部后悔
机器学习
2019-10-28 v2 机器学习
摘要
我们考虑非凸机器学习模型的在线预测问题。预测带来了若干挑战，例如（i）由于环境动态随时间变化，需频繁更新以应对概念漂移问题；（ii）最先进的模型为非凸模型。我们以一种新的后悔框架应对这些挑战。标准后悔度量通常未同时考虑动态环境与非凸模型。我们引入了动态环境中非凸模型的局部后悔。我们给出了一种更新规则，依据所提出的局部后悔，其代价关于时间 T 为次线性。我们的更新使用时间平滑梯度。使用真实世界数据集，我们表明与最先进竞争者相比，我们的时间平滑方法具有若干优势：结果对新数据更稳定；训练对超参数选择更鲁棒；且我们的方法比替代方案计算更高效。
引用
@article{arxiv.1910.07927,
title = {Dynamic Local Regret for Non-convex Online Forecasting},
author = {Sergul Aydore and Tianhao Zhu and Dean Foster},
journal= {arXiv preprint arXiv:1910.07927},
year = {2019}
}
备注
NeurIPS2019. arXiv admin note: substantial text overlap with arXiv:1905.08850