TAPE：面向少样本俄语语言理解的评测基准
计算与语言
2023-10-04 v1
摘要
零样本和少样本学习的最新进展在研究和实际用途的广泛范围内展现出前景。然而，这一快速发展的领域缺乏针对非英语语言的标准化评测套件，阻碍了盎格鲁中心范式之外的进展。为解决这一研究方向，我们提出了 TAPE（Text Attack and Perturbation Evaluation，文本攻击与扰动评测），这是一个包含六项更复杂俄语 NLU 任务的新基准，涵盖多跳推理、伦理概念、逻辑与常识知识。TAPE 的设计侧重于系统化的零样本和少样本 NLU 评测：（i）用于分析鲁棒性的语言导向对抗攻击与扰动，以及（ii）用于细致解读的子群体。对自回归基线测试的详细分析表明，基于简单拼写的扰动对性能影响最大，而 paraphrasing（改写）输入的影响则可忽略不计。同时，结果表明在大多数任务上神经基线与人类基线之间存在显著差距。我们公开发布 TAPE（tape-benchmark.com），以促进对鲁棒 LM（语言模型）的研究，使其能在极少或无监督可用时泛化到新任务。
引用
@article{arxiv.2210.12813,
title = {TAPE: Assessing Few-shot Russian Language Understanding},
author = {Ekaterina Taktasheva and Tatiana Shavrina and Alena Fenogenova and Denis Shevelev and Nadezhda Katricheva and Maria Tikhonova and Albina Akhmetgareeva and Oleg Zinkevich and Anastasiia Bashmakova and Svetlana Iordanskaia and Alena Spiridonova and Valentina Kurenshchikova and Ekaterina Artemova and Vladislav Mikhailov},
journal= {arXiv preprint arXiv:2210.12813},
year = {2023}
}
备注
Accepted to EMNLP 2022 Findings