如何素描一个学习算法

训练数据的选择如何影响 AI 模型？这一广泛的问题对可解释性、隐私和基础科学具有核心重要性。其技术核心是数据删除问题：在进行合理量的预计算之后，快速预测如果从学习算法中排除给定的训练数据子集，模型在给定情况下的行为将如何变化。我们提出了一种数据删除方案，能够在深度学习设置中以消失误差 $\varepsilon$ 和失败概率 $\delta$ 预测模型输出。我们的预计算和预测算法分别仅比常规训练和推理慢 $\tilde{O}(\log(1/\delta)/\varepsilon^{2})$ 倍。存储需求为 $\tilde{O}(\log(1/\delta)/\varepsilon^{2})$ 个模型。我们的证明基于我们称为稳定性的假设。与先前工作所做的假设不同，稳定性似乎与学习强大 AI 模型完全兼容。作为支持，我们在一组最小实验中展示了稳定性在 microgpt 上得到满足。我们的代码可在 https://github.com/SamSpo1/microgpt-sketch 获取。在技术层面，我们的工作基于一种通过计算随机复方向上的高阶导数来局部素描算术电路的新方法。前向模式自动微分使得这些导数的廉价计算成为可能。