面向组合熵率最小化的几何感知高效算法

本文研究了称为组合熵率最小化（compositional entropic risk minimization）的一类问题，其中每个数据损失 formulation 为 Log-Expectation-Exponential（Log-E-Exp）函数。Log-E-Exp 表述是当对 logarithm 中的显式求和在巨大物品数上进行求和且评估成本高昂时，Log-Sum-Exponential（LogSumExp）函数的抽象。虽然此类熵率目标在众多机器学习问题中都有出现，但现有优化算法存在若干根本性局限，包括非收敛、数值不稳定和收敛速度慢。为此，我们提出一种几何感知随机算法，称为 SCENT（SCENT），用于求解以 min-min 形式表述的熵率最小化的对偶 formulation。我们的设计关键在于采用由负指数函数引导的 Bregman 发散的随机近端梯度下降（SPMD）更新，用于对偶变量。我们的主要贡献有三点：（i）我们建立了 SCENT 算法对于凸问题的 $O(1/\sqrt{T})$ 收敛率；（ii）我们理论地刻画了 SPMD 相对于标准 SGD 更新优化对偶变量的优势；（iii）我们在极端分类、部分 AUC 最大化、对比学习和分布鲁棒优化等任务上展示了 SCENT 的实用有效性，该算法在所有基准上都一致优于现有基线。