中文

基于随机对偶平均的期望对数损失快速最小化

最优化与控制 2024-03-12 v2 机器学习 量子物理

摘要

考虑在概率单纯形或量子密度矩阵集合上最小化期望对数损失的问题。该问题包含诸如求解泊松逆问题、计算量子态层析的最大似然估计,以及以当前最紧近似比逼近半正定矩阵积和式等任务。尽管该优化问题是凸的,但由于损失函数缺乏Lipschitz连续性与光滑性,一阶方法的标准迭代复杂度保证并不直接适用。本工作中,我们提出一种名为带对数障碍的BB样本随机对偶平均的随机一阶算法。对于泊松逆问题,我们的算法在O~(d2/ε2)\smash{\tilde{O}}(d^2/\varepsilon^2)时间内达到ε\varepsilon-最优解,与当前最优水平一致,其中dd表示维度。在计算量子态层析的最大似然估计时,我们的算法在O~(d3/ε2)\smash{\tilde{O}}(d^3/\varepsilon^2)时间内给出ε\varepsilon-最优解。这相比现有随机一阶方法的时间复杂度改进了dω2d^{\omega-2}倍,相比批处理方法改进了d2d^2倍,其中ω\omega表示矩阵乘法指数。数值实验表明,在经验上,我们的算法优于具有明确复杂度保证的现有方法。

关键词

引用

@article{arxiv.2311.02557,
  title  = {Fast Minimization of Expected Logarithmic Loss via Stochastic Dual Averaging},
  author = {Chung-En Tsai and Hao-Chung Cheng and Yen-Huan Li},
  journal= {arXiv preprint arXiv:2311.02557},
  year   = {2024}
}

备注

26 pages, AISTATS 2024