记忆的形状：二阶优化器中机器遗忘的几何分析

我们指出，当前对机器遗忘的定义在二阶优化器上缺乏明确性。我们比较了一阶和二阶学习器在处理数据删除任务时的能力，通过不同的特征分解来模拟损失模型的记忆。尽管一阶和二阶方法在性能和梯度方面都与理想的反事实结果一致，但二阶优化器在优化器状态上表现出显著的波动。这表明存在一些被删除的残余信息，无法被一阶分析检测到。各种特征衰减处理显示，只有在受控状态扰动下，稳定性和信息丢失才能得到恢复，这涉及几何信息（即记忆）的抹除。