攀升方法无法忘记

与普遍认为相反，我们展示了梯度上升式无约束优化方法经常失败于执行机器忘却(机器忘却是指模型在删除特定数据后仍能保持性能)。我们将这种现象归因于忘却数据集与保留数据集之间固有的统计依赖性。这种依赖性即便仅表现为简单的相关性，也会削弱人们认为这两个数据集在忘却过程中可以独立操控的误解。我们提供了经验和理论证据，表明这些方法之所以常常失败，正是由于这种被忽视的关系。对于随机忘却子集而言，这种依赖性意味着降低忘却子集指标(对于重新训练的模型，应该类似于测试集指标)必然损害整体测试性能。超越随机子集，我们以逻辑回归为例，其中出现了一个关键的失效模式：跨集依赖导致梯度下降-上升迭代逐渐偏离理想重新训练模型。迟背地，这些方法可以收敛到不仅离理想重新训练模型遥远，甚至可能离原始模型更远的解，从而使忘却过程实际上是有害的。一个 toy 示例进一步说明了这种依赖性如何将模型困在劣势局部最小值中，无法通过微调逃脱。我们的发现表明，即便这种统计依赖性仅以相关性形式呈现，也足以导致攀升式忘却方法失败。我们的理论见解得到复杂神经网络实验的支持，表明这些方法在实际应用中由于未 addressing 这种统计相互作用而无法如预期般工作。