在噪声中甄别：测试预训练语言模型信息处理的鲁棒性
计算与语言
2021-09-28 v1
摘要
预训练语言模型（LM）在下游自然语言处理（NLP）任务上展现出令人印象深刻的性能，但我们尚未对其在处理、保留和应用输入所呈现信息方面的成熟度建立清晰理解。本文通过考察模型在面对干扰内容时部署相关上下文信息能力的鲁棒性，来解决该问题的一个组成部分。我们向模型提供需要使用关键上下文信息的完形填空任务，并引入干扰内容以测试模型保留和利用该关键信息用于预测的鲁棒程度。我们还系统性地操控这些干扰项的性质，以揭示模型利用上下文线索的动态机制。我们发现，尽管模型在简单上下文中似乎基于理解并应用先前上下文中的相关事实进行预测，但存在干扰性但无关的内容会明显混淆模型预测。特别是，模型似乎尤其易受语义相似度和词位置因素的影响。这些发现与如下结论一致：LM预测在很大程度上由表层上下文线索驱动，而非由对上下文含义的鲁棒表征驱动。
引用
@article{arxiv.2109.12393,
title = {Sorting through the noise: Testing robustness of information processing in pre-trained language models},
author = {Lalchand Pandia and Allyson Ettinger},
journal= {arXiv preprint arXiv:2109.12393},
year = {2021}
}
备注
Accepted at EMNLP 2021