情境违规：评估基于Transformer的问答模型的鲁棒性
计算与语言
2025-11-18 v4
摘要
情境问答模型对输入情境的对抗扰动高度敏感，这在现实场景中常见。这些对抗噪声旨在通过扭曲文本输入来降低模型性能。我们引入了一个独特的数据集，将七种不同的对抗噪声类型嵌入情境中，每种噪声在SQuAD数据集上以五个不同的强度水平应用。为量化鲁棒性，我们利用鲁棒性指标，提供了在不同噪声类型和强度水平下评估模型性能的标准化度量。对基于Transformer的问答模型进行实验，揭示了鲁棒性漏洞以及模型在真实文本输入下性能的重要见解。
关键词
引用
@article{arxiv.2409.10997,
title = {Contextual Breach: Assessing the Robustness of Transformer-based QA Models},
author = {Asir Saadat and Nahian Ibn Asad},
journal= {arXiv preprint arXiv:2409.10997},
year = {2025}
}