带噪声SGD的线性回归数据删除
机器学习
2024-10-15 v1 机器学习
摘要
在大数据和机器学习时代，找到在保持训练性能的前提下缩小训练数据集大小的办法至关重要。然而，这背后的挑战包括提供实用的方法来寻找可删除的点，而不会显著损害训练结果，且容易出现欠拟合问题。因此，我们提出了针对1步带噪声SGD的经典线性回归任务中的完美删除点问题，旨在找到训练数据集中可以删除的完美点，以便删除后的数据集训练得到的模型与未删除时训练的模型完全相同。我们应用信号噪声比（SNR）并指出其值与完美删除点的选择密切相关。我们实现了一个基于此的算法，并在合成数据集上经验性地展示了其有效性。最后我们分析了完美删除点的后果，具体分析其如何影响训练性能和隐私预算，从而凸显了其潜在价值。本研究强调了数据删除的重要性，并呼吁在该领域迫切需要更多研究。
引用
@article{arxiv.2410.09311,
title = {Data Deletion for Linear Regression with Noisy SGD},
author = {Zhangjie Xia and Chi-Hua Wang and Guang Cheng},
journal= {arXiv preprint arXiv:2410.09311},
year = {2024}
}