使用小型大语言模型的零样本对话摘要评估
计算与语言
2023-12-01 v1
摘要
大语言模型（LLMs）展现出强大的摘要能力。然而，它们在对话摘要上的能力仍未被充分探索。在这项工作中，我们评估了LLMs（约100亿参数）在对话摘要上的表现，并展示了它们在不同提示下的性能。我们表明，模型生成的摘要依赖于指令，且LLMs的性能随不同指令而变化，如果提示选择不当，有时会导致ROUGE分数急剧下降。我们还通过人工评估对模型进行了评价，并讨论了模型在对话摘要上的局限性。
引用
@article{arxiv.2311.18041,
title = {Zero-shot Conversational Summarization Evaluations with small Large Language Models},
author = {Ramesh Manuvinakurike and Saurav Sahay and Sangeeta Manepalli and Lama Nachman},
journal= {arXiv preprint arXiv:2311.18041},
year = {2023}
}
备注
Accepted at RoF0Mo workshop at Neurips 2023