线性回归模型的在线遗忘过程
机器学习
2024-05-30 v1 机器学习
摘要
受欧盟“被遗忘权”法规的启发，我们开启了对统计性数据删除问题的研究，其中用户数据仅在有限时间内可访问。该设定被表述为一个具有恒定内存限制的在线监督学习任务。我们针对低维情形提出了一种删除感知算法 \texttt{FIFD-OLS}，并观察到由数据删除操作引起的灾难性秩摆动现象，这导致了统计低效。作为补救，我们提出了带有新颖在线正则化方案的 \texttt{FIFD-Adaptive Ridge} 算法，有效抵消了来自删除的不确定性。在理论上，我们给出了两种在线遗忘算法的累积后悔上界。在实验中，我们展示了 \texttt{FIFD-Adaptive Ridge} 优于具有固定正则化水平的岭回归算法，并有望为更复杂的统计模型提供些许启示。
引用
@article{arxiv.2012.01668,
title = {Online Forgetting Process for Linear Regression Models},
author = {Yuantong Li and Chi-hua Wang and Guang Cheng},
journal= {arXiv preprint arXiv:2012.01668},
year = {2024}
}