贝叶斯推断遗忘
机器学习
2021-02-19 v2 人工智能
机器学习
摘要
被遗忘权已在许多国家立法，但在机器学习中的执行会导致难以承受的成本：企业可能因单个个体的请求而需要删除从海量资源中学习到的整个模型。现有工作提出通过其影响函数去除所请求数据中学习到的知识，而该影响函数在贝叶斯推断中不再自然良定义。本文提出一种贝叶斯推断遗忘（Bayesian inference forgetting, BIF）框架，以在贝叶斯推断中实现被遗忘权。在 BIF 框架中，我们为变分推断和马尔可夫链蒙特卡洛开发了遗忘算法。我们证明我们的算法可证明地去除单个数据对所学模型的影响。理论分析表明我们的算法具有有保证的泛化性。在合成数据集上的高斯混合模型实验以及真实世界数据上的贝叶斯神经网络实验验证了我们所提方法的可行性。源代码包可在 \url{https://github.com/fshp971/BIF} 获取。
引用
@article{arxiv.2101.06417,
title = {Bayesian Inference Forgetting},
author = {Shaopeng Fu and Fengxiang He and Yue Xu and Dacheng Tao},
journal= {arXiv preprint arXiv:2101.06417},
year = {2021}
}