带随机噪声的在线广义线性回归及其在异方差赌博机中的应用

我们研究随机设定下的在线广义线性回归问题，其中标签由带有可能无界加性噪声的广义线性模型生成。我们对经典的跟随正则化领导者(FTRL)算法进行了尖锐分析以应对标签噪声。更具体地，对于$\sigma$-次高斯标签噪声，我们的分析给出了$O(\sigma^2 d \log T) + o(\log T)$的悔界上界，其中$d$为输入向量维度，$T$为总轮数。我们还证明了随机在线线性回归的$\Omega(\sigma^2d\log(T/d))$下界，表明我们的上界近乎最优。此外，我们将分析推广到更精细的Bernstein噪声条件。作为应用，我们研究了带异方差噪声的广义线性赌博机，并基于FTRL提出一种算法以实现首个感知方差的悔界。