InfoBERT：从信息论视角提升语言模型的鲁棒性
计算与语言
2021-03-23 v4 人工智能
机器学习
摘要
诸如 BERT 的大规模语言模型已在广泛的 NLP 任务上取得最先进的性能。然而，近期研究表明此类基于 BERT 的模型在面对文本对抗攻击的威胁时较为脆弱。我们旨在从信息论视角解决该问题，并提出 InfoBERT，一种用于预训练语言模型鲁棒微调的新颖学习框架。InfoBERT 包含两种基于互信息的训练正则化项：(i) 信息瓶颈正则化项，抑制输入与特征表示间噪声互信息；(ii) 鲁棒特征正则化项，增加局部鲁棒特征与全局特征间互信息。我们提供了在标准与对抗训练下理论分析并改进语言模型表示学习鲁棒性的原则性方法。大量实验表明，InfoBERT 在自然语言推理（NLI）与问答（QA）任务的多个对抗数据集上取得了最先进的鲁棒准确率。我们的代码见 https://github.com/AI-secure/InfoBERT。
引用
@article{arxiv.2010.02329,
title = {InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective},
author = {Boxin Wang and Shuohang Wang and Yu Cheng and Zhe Gan and Ruoxi Jia and Bo Li and Jingjing Liu},
journal= {arXiv preprint arXiv:2010.02329},
year = {2021}
}
备注
Accepted to ICLR 2021. 23 pages, 9 tables, 3 figures