边缘无学习在“边缘”上并非如此:面向资源受限设备的自适应精确无学习系统
机器学习
2024-10-16 v2 密码学与安全
摘要
“被遗忘权利”要求机器学习模型能够擦除数据所有者的数据和信息。仅从数据集中删除数据是不够的,因为机器学习模型会记忆训练数据的信息,这增加了对用户隐私的潜在风险。为此,已开发并部署了多种机器无学习技术。其中,近似无学习是一种流行的解决方案,但最近的研究报告称,其无学习效果并未得到充分保证。另一种方法是精确无学习,通过丢弃数据并从头重新训练模型,但需要相当大的计算和内存资源。然而,并非所有设备都具备进行此类重新训练的能力。在诸如边缘设备、物联网(IoT)、移动设备和卫星等众多机器学习应用中,资源受限,使得部署现有的精确无学习方法提出了挑战。本研究提出了面向网络边缘的约束感知自适应精确无学习系统(CAUSE),一种在资源受限设备上实现精确无学习的方法。旨在通过存储资源受限设备上的子模型来最小化重新训练开销,CAUSE 创新性地应用了斐波那契替换策略,并在基于用户的数据分区过程中自适应更新分片数量。为进一步提高内存使用的效果,CAUSE 利用模型修剪通过压缩节省内存,同时对准确率影响最小。实验结果表明,CAUSE 在资源受限设备上实现精确无学习时,相较于其他代表性系统,在无学习速度、能耗和准确率方面分别提高了 9.23%-80.86%、66.21%-83.46% 和 5.26%-194.13%。
引用
@article{arxiv.2410.10128,
title = {Edge Unlearning is Not "on Edge"! An Adaptive Exact Unlearning System on Resource-Constrained Devices},
author = {Xiaoyu Xia and Ziqi Wang and Ruoxi Sun and Bowen Liu and Ibrahim Khalil and Minhui Xue},
journal= {arXiv preprint arXiv:2410.10128},
year = {2024}
}
备注
Accepted to IEEE Symposium on Security and Privacy 2025 (Oakland 2025)