随机凸优化的信息复杂度：在泛化与记忆化中的应用

在这项工作中，我们在*随机凸优化*（SCO）的背景下研究了记忆化与学习之间的相互作用。我们将记忆化定义为学习算法关于其训练数据点所揭示的信息。随后，我们使用 Steinke 和 Zakynthinou (2020) 提出的条件互信息（CMI）框架来量化这一信息。我们的主要结果是对学习算法的准确性与其 CMI 之间的权衡进行了精确刻画，回答了 Livni (2023) 提出的一个开放性问题。我们表明，在 $L^2$ Lipschitz 有界设置下且在强凸性条件下，任何具有超额误差 $\varepsilon$ 的学习者，其 CMI 下界分别为 $\Omega(1/\varepsilon^2)$ 和 $\Omega(1/\varepsilon)$。我们进一步通过设计一个能够在特定 SCO 问题中准确识别大量训练样本的对手，展示了记忆化在 SCO 学习问题中的本质作用。最后，我们列举了我们的结果的若干含义，例如基于 CMI 的泛化界的局限性以及 SCO 问题中样本的不可压缩性。