通过擦除简单特征来减缓学习
机器学习
2025-02-06 v1
摘要
先前的研究表明，神经网络倾向于首先学习数据分布的低阶矩，然后再转向高阶相关性。在这项工作中，我们推导出一种新颖的闭式概念擦除方法QLEACE，该方法能够从表示中精确地移除所有关于某个概念的二次可用信息。通过与线性擦除（LEACE）和两种近似形式的二次擦除进行比较，我们探讨了当从图像分类数据集中移除低阶统计量时，网络是否仍能学习。我们发现，虽然LEACE持续减缓学习速度，但二次擦除对学习速度的影响可正可负，具体取决于数据集、模型架构和擦除方法的选择。使用QLEACE在前馈架构中持续减缓学习，但更复杂的架构学会了利用注入的关于类别标签的高阶香农信息。其近似变体避免了注入信息，但令人惊讶地在某些数据集上起到了数据增强技术的作用，相比LEACE提高了学习速度。
引用
@article{arxiv.2502.02820,
title = {Slowing Learning by Erasing Simple Features},
author = {Lucia Quirke and Nora Belrose},
journal= {arXiv preprint arXiv:2502.02820},
year = {2025}
}