指数凹在线学习中的最优动态后悔

我们考虑在线学习中具有指数凹损失的Zinkevich (2003)式动态后悔最小化问题。我们证明，只要允许非恰当学习，强自适应在线学习器可实现\tilde O^*(n^{1/3}C_n^{2/3} \vee 1)的动态后悔，其中C_n是任意比较器序列的总变差（亦称路径长度），该序列无需在学习者事前已知。即使在1维平方损失下达到此速率也极为非平凡，此前已知最优上界为O(\sqrt{nC_n} \vee \log n)（Yuan and Lamperski, 2019）。我们的新证明技巧优雅地利用了由KKT条件施加的原始与对偶变量的精细结构，本身可能具有独立意义。最后，我们将结果应用于经典的局部自适应非参数回归统计问题（Mammen, 1991; Donoho and Johnstone, 1998），获得一种更强且更灵活的算法，无需任何统计假设或超参数调节。