针对不可分解损失函数的在线与随机梯度方法

生物识别和医学等敏感领域的现代应用经常需要使用不可分解损失函数，如 precision@k、F-measure 等。与 hinge-loss 等点损失函数相比，这些函数能对预测提供更细粒度的控制，但同时也给算法设计与分析带来了新的挑战。本文启动了对此类不可分解损失函数的在线学习技术研究，旨在实现增量学习并为批量问题设计可扩展的求解器。为此，我们提出了一种针对此类损失函数的在线学习框架。我们的模型具有若干优良特性，其中最主要的是存在具有次线性遗憾（sublinear regret）和在线到批量转换界的高效在线学习算法。我们的模型是现有点损失函数在线学习模型的可证明扩展。我们在模型中实例化了两种流行的损失函数 prec@k 和 pAUC，并证明了二者均具有次线性遗憾界。我们的证明需要一个关于排序列表的新颖结构引理，该引理可能具有独立兴趣。随后，我们开发了针对不可分解损失函数的可扩展随机梯度下降求解器。我们表明，对于满足特定一致收敛性质（包括 prec@k、pAUC 和 F-measure）的一大类损失函数，我们的方法可证明收敛于经验风险最小化器。此前这些损失函数尚无此类一致收敛结果，我们利用新颖的证明技术建立了这些结果。最后，我们在真实生活和基准数据集上进行了大量实验，证实我们的方法比最近提出的一种割平面方法快数个数量级。