正交软剪枝：高效类擦除
机器学习
2025-11-17 v2 人工智能
摘要
在联邦学习中，由于保留性能与遗忘性能之间的权衡，高效可控的数据擦除 remains 挑战性，尤其是在非独立同分布（non-IID）设置下，深度特征 entangled 会加剧这一困境。为此，我们提出FedOrtho框架，结合正交化深度卷积核和基于激活驱动的可控一次性软剪枝（OSP）机制。FedOrtho 通过强制核函数正交性和局部-全局对齐来解耦特征表示，缓解客户端漂移。这种结构独立性使我们能够对与遗忘相关的核进行精确的一次性剪枝，同时保留已知晓。FedOrtho 在 CIFAR-10、CIFAR100 和 TinyImageNet 上采用 ResNet 和 VGG 框架实现SOTA性能，验证了FedOrtho 支持类、客户端和样本级别的擦除，遗忘质量达98%以上。在联邦设置下，计算和通信成本降低了2-3个数量级，在集中式场景下实现亚秒级擦除，同时保持97%以上的保留准确率，并缓解了成员推断风险。
引用
@article{arxiv.2506.19891,
title = {Orthogonal Soft Pruning for Efficient Class Unlearning},
author = {Qinghui Gong and Xue Yang and Xiaohu Tang},
journal= {arXiv preprint arXiv:2506.19891},
year = {2025}
}
备注
17 pages,8 figures