面向稳健自然语言处理的单元多边际 BERT
计算与语言
2024-10-17 v1 人工智能
摘要
近期发展不利于深度学习的对抗攻击使许多关键任务自然语言处理 (NLP) 系统面临被滥用的风险。为解决缺乏计算高效对抗防御方法的难题，本文报告了一种新颖且通用的技术，显著提高了双向编码器表示变换器 (BERT) 的鲁棒性，通过将单元权重与多边际损失相结合。我们发现，这两种简单想法的结合放大了对恶意干扰的保护。我们的模型，单元多边际 BERT (UniBERT)，在战后分类准确率提升了 5.3% 到 73.8%，同时保持了具竞争力的战前准确率。此外，战前和战后准确率之间的权衡可以通过单个标量参数进行调整，以适应目标应用程序的设计要求。
引用
@article{arxiv.2410.12759,
title = {Unitary Multi-Margin BERT for Robust Natural Language Processing},
author = {Hao-Yuan Chang and Kang L. Wang},
journal= {arXiv preprint arXiv:2410.12759},
year = {2024}
}