大语言模型能否理解对话中强调句的含义？
计算与语言
2024-10-01 v2
摘要
强调是人类沟通中至关重要的组成部分，指示说话者在纯文本之外的意图和含义。尽管大语言模型（LLM）在自然语言处理领域取得了突破，但其在理解对话中强调方面的能力仍不明确。本文介绍了 Emphasized-Talk，这是一个带有强调标注的对话基准数据集，捕捉强调的含义。我们评估了各种大语言模型，包括开源和商业模型，以衡量其理解强调的性能。此外，我们提出了一个使用 GPT-4 的自动评估管道，与人类评分高度相关。我们的发现表明，尽管商业大语言模型总体上表现更好，但在理解强调句方面仍有很大的提升空间。
引用
@article{arxiv.2406.11065,
title = {Can LLMs Understand the Implication of Emphasized Sentences in Dialogue?},
author = {Guan-Ting Lin and Hung-yi Lee},
journal= {arXiv preprint arXiv:2406.11065},
year = {2024}
}
备注
Accepted by EMNLP 2024 Findings