语言模型时代的语用学：数据、评估、机遇与挑战综述
计算与语言
2025-06-13 v3
摘要
理解语用学(即语言在语境中的使用)是实现 NLP 系统处理语言细微用法的关键。尽管近期在语言技术领域取得进展, 包括大语言模型, 但评估其处理语用现象(如暗示与指代)的能力仍面临挑战。为推动模型具备语用能力, 必须洞悉当前评估趋势并识别局限。本综述提供全面回顾, 分类整理了用于评估 NLP 语用能力的资源, 按涉及的语用现象进行归类。我们分析任务设计、数据收集方法、评估方式及其与实际应用的关联性。基于现代语言模型的视角, 我们揭示新兴趋势、挑战与现有基准的空白。本综述旨在厘清语用评估的格局, 指导更全面且精准的基准开发, 为构建更细致且语境感知的 NLP 模型作出贡献。
引用
@article{arxiv.2502.12378,
title = {Pragmatics in the Era of Large Language Models: A Survey on Datasets, Evaluation, Opportunities and Challenges},
author = {Bolei Ma and Yuting Li and Wei Zhou and Ziwei Gong and Yang Janet Liu and Katja Jasinskaja and Annemarie Friedrich and Julia Hirschberg and Frauke Kreuter and Barbara Plank},
journal= {arXiv preprint arXiv:2502.12378},
year = {2025}
}
备注
ACL 2025