探索问答模型分布鲁棒性的全景
计算与语言
2022-10-25 v1 机器学习
摘要
我们开展了一项大规模实证评估，以调研问答中分布鲁棒性的全景。我们的调研涵盖 350 余个模型与 16 个问答数据集，包括多样的架构、模型规模与适配方法（例如微调、适配器调优、上下文学习等）。我们发现，在许多情况下，模型变体并不影响鲁棒性，且仅由分布内性能决定分布外性能。此外，我们的结果表明：i) 零样本与上下文学习方法比全微调模型对分布偏移更鲁棒；ii) 少样本提示微调模型展现出优于少样本微调跨度预测模型的鲁棒性；iii) 参数高效与鲁棒性增强训练方法未带来显著的鲁棒性提升。另外，我们公开了所有评估以促进研究者进一步分析问答模型的鲁棒性趋势。
引用
@article{arxiv.2210.12517,
title = {Exploring The Landscape of Distributional Robustness for Question Answering Models},
author = {Anas Awadalla and Mitchell Wortsman and Gabriel Ilharco and Sewon Min and Ian Magnusson and Hannaneh Hajishirzi and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2210.12517},
year = {2022}
}
备注
EMNLP Findings 2022