具有改进每迭代复杂度的分散随机双层优化

双层优化近期因在解决元学习、强化学习和超参数优化等重要机器学习问题上的巨大成功而受到极大关注。将双层问题上的单智能体训练推广到分散设置是一种自然的推广，并且已有大量工作研究分散双层优化算法。然而，如何设计具有与随机优化中 SGD 相当的采样复杂度和收敛速率，同时不直接计算精确 Hessian 或 Jacobian 矩阵的分布式算法，仍属未知。在本文中我们提出这样一种算法。更具体地，我们提出了一种新颖的分散随机双层优化（DSBO）算法，其仅需一阶随机预言机、Hessian-向量积和 Jacobian-向量积预言机。我们算法的采样复杂度与当前已知的 DSBO 最佳结果相匹配，并且我们算法的优势在于不需要估计完整的 Hessian 和 Jacobian 矩阵，从而具有改进的每迭代复杂度。