基于纠缠感知锚闭的联邦多模态取消学习
网络与互联网体系结构
2026-05-04 v1 人工智能
机器学习
多媒体
摘要
联邦多模态学习 (FML) 在去中心化客户端之间训练多模态模型，同时保持图像-文本对的隐私。然而，联合嵌入训练会将被遗忘知识在两种模态和客户端梯度子空间中纠缠，从而阻碍联邦取消学习。先前的联邦取消学习方法既未切断由双线性耦合所介导的跨模态重建通道，也未将遗忘专属更新方向与保留客户端共享的方向区分开来。我们识别出联邦多模态对抗性取消学习的锚原理：遗忘后的对齐仍通过三类残余锚点得以维持，这些锚点源自双线性跨模态耦合、主角 subspace 纠缠以及持续的联邦更新。在模态层面，我们表明两侧的双向位移可关闭跨模态重建通道。相应地，我们通过客户端更新子空间的余弦--正弦分解来处理 subspace 纠缠，将遗忘专属方向从保留支持中隔离。此外，我们提出一种方向选择性 Forget Lock，用于约束跨轮的残余漂移。将这些策略组合起来，我们提出了 EASE，即一种基于纠缠感知的子空间剔除框架，在统一设计下关闭所有三个锚点通道。EASE 在多个数据集和取消学习场景中均表现出一致的优势，例如，在 CLIP-B/32 上进行的 Flickr30K 客户端取消学习中，分别在遗忘和保留两侧将再训练参考值分别控制在 0.2 和 4.2 R@1 分之内。
引用
@article{arxiv.2605.00733,
title = {EASE: Federated Multimodal Unlearning via Entanglement-Aware Anchor Closure},
author = {Zihao Ding and Beining Wu and Jun Huang},
journal= {arXiv preprint arXiv:2605.00733},
year = {2026}
}