互信息引导的预训练编码器后门缓解
机器学习
2025-10-06 v3 人工智能
密码学与安全
摘要
自监督学习（SSL）在无需标注数据的情况下预训练编码器越来越有吸引力。基于这些预训练编码器构建的下游任务可以达到接近最先进的性能。然而，现有研究表明，SSL预训练的编码器容易受到后门攻击。许多后门缓解技术是为下游任务模型设计的。然而，由于预训练时缺乏标签信息，当这些技术适应于预训练编码器时，其有效性会受损且受限。为了解决针对预训练编码器的后门攻击，本文创新性地提出了一种互信息引导的后门缓解技术，命名为MIMIC。MIMIC将潜在带有后门的编码器视为教师网络，并采用知识蒸馏从教师网络中蒸馏出一个干净的学生编码器。与现有的知识蒸馏方法不同，MIMIC使用随机权重初始化学生网络，从而不继承教师网络的任何后门。然后，MIMIC利用每一层与提取特征之间的互信息来定位教师网络中良性知识所在的位置，并据此部署蒸馏，将干净的特征从教师克隆到学生。我们设计了包含克隆损失和注意力损失两个方面的蒸馏损失，旨在同时缓解后门并保持编码器性能。我们在SSL中的两种后门攻击上进行的评估表明，MIMIC仅利用不到5%的干净数据就能显著降低攻击成功率，超过了七种最先进的后门缓解技术。
引用
@article{arxiv.2406.03508,
title = {Mutual Information Guided Backdoor Mitigation for Pre-trained Encoders},
author = {Tingxu Han and Weisong Sun and Ziqi Ding and Chunrong Fang and Hanwei Qian and Jiaxun Li and Zhenyu Chen and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2406.03508},
year = {2025}
}