大规模随机优化NDCG代理以用于深度学习且具有可证明收敛性

NDCG，即归一化折损累计增益，是信息检索与机器学习中广泛使用的排序指标。然而，用于最大化NDCG的高效且可证明的随机方法仍然缺乏，尤其是对于深度模型。在本文中，我们提出一种优化NDCG及其top-$K$变体的原则性方法。首先，我们为优化NDCG代理公式化一个新的复合优化问题，并为优化top-$K$ NDCG代理公式化一个新的双层复合优化问题。然后，我们针对非凸目标开发具有可证明收敛保证的高效随机算法。与现有NDCG优化方法不同，我们算法的每次迭代复杂度随小批量大小而非总条目数量缩放。为提升深度学习中的有效性，我们进一步提出使用初始预热与停止梯度算子的实用策略。在多个数据集上的实验结果表明，我们的方法在NDCG方面优于先前的排序方法。据我们所知，这是首次提出具有可证明收敛保证的随机算法来优化NDCG。我们提出的方法在LibAUC库中实现：https://libauc.org/。