伪范数可逼近性及其在遗憾最小化中的应用

Blackwell 著名的逼近性理论为包括遗憾最小化在内的多种学习问题提供了通用框架。然而,Blackwell 的证明及隐式算法使用 $\ell_2$(欧氏)距离来度量逼近性。我们认为,在诸如遗憾最小化等许多应用中,研究其他距离度量(最常见为 $\ell_\infty$ 度量)下的逼近性更为有用。但是,为 $\ell_\infty$ 逼近性设计的算法其时间和空间复杂度依赖于向量收益空间的维数,而该维数往往大得难以承受。因此,我们提出一个框架,将高维 $\ell_\infty$ 逼近性问题转化为低维伪范数逼近性问题,从而解决此类问题。我们首先证明,平均收益与逼近集之间的 $\ell_\infty$ 距离可等价地定义为一个低维平均向量收益与我们定义的新凸集之间的伪距离。接着,我们发展了伪范数逼近性的算法理论,类似于先前关于 $\ell_2$ 及其他范数逼近性的工作,表明它可通过在单位伪范数球的 Fenchel 对偶给出的凸集上进行在线线性优化(OLO)来实现。我们随后利用这一点证明,在温和的归一化假设下,存在一种 $\ell_\infty$ 逼近算法的收敛性与原始向量收益的维数无关。我们进一步证明,该算法具有多项式时间复杂度,前提是原始 $\ell_\infty$ 距离可被高效计算。我们还给出了一种 $\ell_\infty$ 逼近算法,利用带最大熵正则化器的 FTRL 算法,其收敛性关于该维数呈对数级。