基于动态边界缩放约束优化的大语言模型后门有效防御
计算与语言
2022-02-14 v1 人工智能
摘要
我们开发了一种用于NLP后门逆向的新优化方法。我们利用softmax函数中动态递减的温度系数，为优化器提供变化的损失曲面，使过程逐步聚焦于真实触发器，该触发器在凸包中表示为one-hot值。我们的方法还具有温度回滚机制，以远离局部最优，这利用了NLP触发器逆向中局部最优易判定（而一般优化中并非如此）的观察。我们在3项主流NLP任务、4种不同后门攻击和7种架构上的超过1600个模型（其中约一半被注入了后门）上评估了该技木。结果表明，该技术能有效且高效地检测并移除后门，优于4种基线方法。
引用
@article{arxiv.2202.05749,
title = {Constrained Optimization with Dynamic Bound-scaling for Effective NLPBackdoor Defense},
author = {Guangyu Shen and Yingqi Liu and Guanhong Tao and Qiuling Xu and Zhuo Zhang and Shengwei An and Shiqing Ma and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2202.05749},
year = {2022}
}