lpNTK：通过学习过程中的样本交互以更少数据实现更好的泛化
机器学习
2024-05-15 v2
摘要
尽管已有大量研究致力于提出新模型或损失函数来改善人工神经网络的泛化能力，但训练数据对泛化影响的关注较少。在本工作中，我们从近似样本之间的交互入手，即学习一个样本会如何修改模型对其他样本的预测。通过分析监督学习中权重更新所涉及的项，我们发现标签会影响样本之间的交互。因此，我们提出了标记伪神经正切核（lpNTK），它在测量样本间交互时考虑了标签信息。我们首先证明，在特定假设下，lpNTK在Frobenius范数意义上渐近收敛于经验神经正切核。其次，我们说明了lpNTK如何帮助理解先前工作中识别的学习现象，特别是样本的学习难度和学习过程中的遗忘事件。此外，我们还表明，使用lpNTK识别并移除中毒训练样本不会损害人工神经网络的泛化性能。
引用
@article{arxiv.2401.08808,
title = {lpNTK: Better Generalisation with Less Data via Sample Interaction During Learning},
author = {Shangmin Guo and Yi Ren and Stefano V. Albrecht and Kenny Smith},
journal= {arXiv preprint arXiv:2401.08808},
year = {2024}
}
备注
ICLR-2024