基于正交熵的忘却：量化神经网络的正交熵忘却
机器学习
2026-05-25 v2
摘要
量化神经网络在边缘设备上的部署，结合GDPR等隐私法规，导致机器忘却在量化模型中迫在眼睫。然而，现有方法面临关键挑战：它们通过训练模型记忆错误标签来实现忘却，将忘却与误记混淆，并采用标量梯度重加权，无法解决梯度之间的方向冲突。我们提出OEU（Orthogonal Entropy Unlearning），一种新的正交熵忘却框架，具有两个关键创新：1）熵引导的忘却通过最大化被遗忘数据上的预测不确定性来提供无偏的忘却方向，避免对特定类别产生自信的误预测；2）梯度正交投影通过将忘却梯度投影到保留梯度的正交补中来消除干扰，在一阶近似下提供实用性保存的理论保证。广泛实验表明，OEU在忘却效果和保留准确率方面均优于现有方法。
引用
@article{arxiv.2602.00567,
title = {Forget by Uncertainty: Orthogonal Entropy Unlearning for Quantized Neural Networks},
author = {Tian Zhang and Yujia Tong and Junhao Dong and Ke Xu and Yuze Wang and Jingling Yuan},
journal= {arXiv preprint arXiv:2602.00567},
year = {2026}
}
备注
Accepted by ICML2026