芝麻街上的语码混合：对抗性多语者的黎明
计算与语言
2021-06-08 v3 人工智能
计算机与社会
机器学习
神经与进化计算
摘要
多语言模型已展现出令人印象深刻的跨语言迁移性能。然而，像 XNLI 这样的测试集在样本层面是单语的。在多语言社区中，多语者相互交谈时语码混合是常见现象。受此现象启发，我们提出两种针对多语言模型的强黑盒对抗攻击（一种词级、一种短语级），将其处理语码混合句子的能力推向极限。前者使用双语词典提出干净示例的扰动与翻译以进行词义消歧。后者在提取短语作为扰动之前直接将干净示例与其翻译对齐。我们的短语级攻击对 XLM-R-large 的成功率为 89.75%，将其在 XNLI 上 79.85 的平均准确率降至 8.18。最后，我们提出一种高效的对抗训练方案，其以与原模型相同的步数进行训练，并表明它提升了模型准确率。
引用
@article{arxiv.2103.09593,
title = {Code-Mixing on Sesame Street: Dawn of the Adversarial Polyglots},
author = {Samson Tan and Shafiq Joty},
journal= {arXiv preprint arXiv:2103.09593},
year = {2021}
}
备注
To be presented at NAACL-HLT 2021. Abstract also published in the Rising Stars Track of the Workshop on Computational Approaches to Linguistic Code-Switching (CALCS 2021)