黑盒泛化：零阶学习的稳定性

我们首次针对通过无导数优化的黑盒学习给出了泛化误差分析。在未知损失满足 Lipschitz 光滑性的假设下，我们考虑零阶随机搜索（ZoSS）算法，该算法通过用每次数据集（样本）查询中 $K+1$ 个扰动损失评估的随机差分替代随机梯度方向来更新 $d$ 维模型。对于无界和有界（可能非凸）损失，我们给出了 ZoSS 算法的首批泛化界。这些界与 SGD 的界一致，并且令人惊讶的是，在适当选择略微减小的学习率下，它们与 $d$、$K$ 以及批量大小 $m$ 无关。对于有界非凸损失且批量大小 $m=1$ 的情形，我们进一步表明泛化误差和学习率均独立于 $d$ 和 $K$，并且即使仅进行两次函数评估，也基本与 SGD 相同。我们的结果广泛扩展了先前工作中关于 SGD 的已有结论（包括泛化界和相应学习率）并与之完全一致。如果进一步有 $m=n$（其中 $n$ 为数据集大小），我们还推导出了全批量 GD 的泛化保证。