基于包络复杂度的高维 $\ell_1$-球上对抗平滑对数损失的自适应极小极大遗憾
机器学习
2018-10-16 v2 机器学习
摘要
我们发展了一个新的理论框架——包络复杂度（envelope complexity），用以分析对数损失函数下的极小极大遗憾，并推导出一种贝叶斯预测器，可在高维 -球上以不超过两倍的因子自适应地达到极小极大遗憾。该先验是为实现极小极大遗憾而新推导的，因其形状被称为尖峰与尾部（spike-and-tails, ST）先验。所得遗憾界十分简洁，除对数因子外完全由损失函数的光滑性与球的半径决定，并且它是已有遗憾/风险界的一种推广形式。在初步实验中，我们确认在非高维渐近下 ST 先验优于传统的极小极大遗憾先验。
引用
@article{arxiv.1810.03825,
title = {Adaptive Minimax Regret against Smooth Logarithmic Losses over High-Dimensional $\ell_1$-Balls via Envelope Complexity},
author = {Kohei Miyaguchi and Kenji Yamanishi},
journal= {arXiv preprint arXiv:1810.03825},
year = {2018}
}