BERT 及其衍生模型吞下词语沙拉：文本理解实验
计算与语言
2021-03-18 v2 人工智能
摘要
本文中，我们研究 BERT 家族大型模型对无序输入的反应，此类输入应使任何声称理解自然语言的模型感到困惑。我们定义简单启发式方法来构造此类样例。实验表明，最先进（SOTA）模型始终无法将其识别为不规范输入，反而给出高置信度预测。作为该现象的后果，在词序随机打乱的句子上训练的模型表现接近 SOTA 模型。为缓解这些问题，我们展示若模型被显式训练以识别无效输入，它们可对此类攻击具有鲁棒性且不损失性能。
引用
@article{arxiv.2101.03453,
title = {BERT & Family Eat Word Salad: Experiments with Text Understanding},
author = {Ashim Gupta and Giorgi Kvernadze and Vivek Srikumar},
journal= {arXiv preprint arXiv:2101.03453},
year = {2021}
}
备注
Accepted at AAAI 2021, Camera Ready Version