学习捷径：论语言模型中自然语言理解的误导性前景
计算与语言
2024-12-18 v2 人工智能
机器学习
摘要
大型语言模型（LLM）的出现使得自然语言处理领域取得了显著的性能提升。然而，近期研究发现，LLM在执行任务时常常诉诸捷径，造成性能提升的假象，但其决策规则缺乏泛化能力。这一现象给准确评估LLM的自然语言理解带来了挑战。本文对该领域的相关研究进行了简要综述，并就捷径学习在语言模型评估（特别是针对NLU任务）中的影响提出了观点。本文呼吁投入更多研究精力，以加深对捷径学习的理解，促进更鲁棒语言模型的发展，并提高现实场景中NLU评估的标准。
引用
@article{arxiv.2401.09615,
title = {Learning Shortcuts: On the Misleading Promise of NLU in Language Models},
author = {Geetanjali Bihani and Julia Taylor Rayz},
journal= {arXiv preprint arXiv:2401.09615},
year = {2024}
}
备注
Accepted at HICSS-SDPS 2024