经验 X-风险最小化的算法基础

本手稿介绍了一种用于机器学习与人工智能的新优化框架，名为{\bf 经验 X-风险最小化（EXM）}。X-risk 一词用于表示一类组合测度或目标，其中每个数据点显式或隐式地与大量条目比较以定义风险函数。它包含许多广泛使用的测度与非可分解损失的替代目标，例如 AUROC、AUPRC、部分 AUROC、NDCG、MAP、前 $K$ 位的精确率/召回率、特定召回水平下的精确率、列表式损失、p-范数推进、顶部推进、全局对比损失等。尽管这些非可分解目标及其优化算法已在机器学习、计算机视觉、信息检索等文献中被研究，但为深度学习优化这些目标遇到了一些独特挑战。本文中，我们呈现近期针对 EXM 的严谨工作，聚焦于其算法基础与应用。我们引入一类求解具光滑非凸目标的 EXM 的算法技术。我们将 EXM 表述为分别属于非凸组合优化、非凸极小极大优化与非凸双层优化的三类特殊非凸优化问题。对每类问题，我们给出若干强基线算法及其复杂度，以激励进一步研究改进现有结果。文末给出对所呈现结果及未来研究的讨论。优化多种 X-risk 的高效算法已在 LibAUC 库中实现，见 \url{www.libauc.org}。