评估大语言模型在文学文本中的引语归因能力：以LLaMa3为例
计算与语言
2025-01-28 v3
摘要
大语言模型（LLMs）在多种文学任务中展现了令人鼓舞的结果，通常利用复杂的记忆化叙事细节和虚构角色。在本工作中，我们评估了Llama-3在小说中将直接引语话语归因于说话者的能力。该LLM在包含28部小说的语料库上取得了令人印象深刻的结果，大幅超越了已发表的ChatGPT和基于编码器的基线结果。随后，我们通过评估书籍记忆化和标注污染的影响来验证这些结果。我们发现这些类型的记忆化并不能解释性能的大幅提升，这使得Llama-3成为英语文学中引语归因的新最先进模型。我们公开发布了我们的代码和数据。
引用
@article{arxiv.2406.11380,
title = {Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3},
author = {Gaspard Michel and Elena V. Epure and Romain Hennequin and Christophe Cerisara},
journal= {arXiv preprint arXiv:2406.11380},
year = {2025}
}
备注
NAACL 2025 Main Conference -- short paper