通过自适应梯度重加权实现定量神经网络的鲁棒机器遗忘
机器学习
2025-03-19 v1
摘要
模型量化通过低位参数表征实现了在边缘设备上部署深度神经网络的高效性，但在数据隐私法规下实施机器遗忘(MU)方面提出了关键挑战。现有MU方法为全精度模型设计，无法解决定量网络中的两个根本局限：1)数据处理过程中标签不匹配导致的噪声放大，2)训练期间被遗忘数据与保留数据的梯度不平衡。这些问题在受限参数空间和离散优化的定量模型中尤为突出。我们提出Q-MUL，首个专为定量模型设计的遗忘框架。我们方法的两个关键创新：1)相似标签分配将随机标签替换为语义一致的替代选项以最小化噪声注入，2)自适应梯度重加权动态平衡被遗忘数据与保留数据的参数更新贡献。通过对定量模型脆弱性的系统分析，我们为这些机制建立了理论基础。广泛的基准数据集上的评估表明Q-MUL优于现有方法。
引用
@article{arxiv.2503.13917,
title = {Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels},
author = {Yujia Tong and Yuze Wang and Jingling Yuan and Chuang Hu},
journal= {arXiv preprint arXiv:2503.13917},
year = {2025}
}
备注
15 pages, 4 figures