通过信息风险最小化的机器遗忘统一PAC-Bayesian框架
机器学习
2021-06-02 v1 信息论
信号处理
math.IT
摘要
机器遗忘是指这样一种机制:在收到请求时,能够从已训练模型中移除一部分训练数据的影响,而无需承担从头重新训练的成本。本文开发了一个统一的PAC-Bayesian机器遗忘框架,将两种近期设计原则——变分遗忘(Nguyen等人,2020)和遗忘拉格朗日量(Golatkar等人,2020)——恢复为信息风险最小化问题(Zhang,2006)。相应地,这两种准则均可被解释为遗忘模型测试损失的PAC-Bayesian上界,其形式为自由能度量。
引用
@article{arxiv.2106.00265,
title = {A unified PAC-Bayesian framework for machine unlearning via information risk minimization},
author = {Sharu Theresa Jose and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2106.00265},
year = {2021}
}
备注
Under Review