使用大语言模型构建真实会议摘要系统的实践视角
计算与语言
2023-11-09 v3
摘要
本文研究如何使用大语言模型(LLMs)有效构建面向真实应用的会议摘要系统。为此,我们对多种闭源与开源 LLM(即 GPT-4、GPT-3.5、PaLM-2 与 LLaMA-2)进行了广泛的评估与比较。我们的发现表明,多数闭源 LLM 在性能上总体更优。然而,即便在零样本场景下,小得多的开源模型如 LLaMA-2(7B 与 13B)仍可达到与大型闭源模型相当的性能。考虑到闭源模型仅能通过 API 访问所带来的隐私问题,以及使用闭源模型微调版本的高昂成本,能够取得有竞争力性能的开源模型对工业应用更为有利。在性能与相关成本及隐私问题之间权衡,LLaMA-2-7B 模型对工业应用更具前景。总之,本文就真实商业会议摘要中使用 LLM 提供了实用见解,阐明了性能与成本之间的权衡。
引用
@article{arxiv.2310.19233,
title = {Building Real-World Meeting Summarization Systems using Large Language Models: A Practical Perspective},
author = {Md Tahmid Rahman Laskar and Xue-Yong Fu and Cheng Chen and Shashi Bhushan TN},
journal= {arXiv preprint arXiv:2310.19233},
year = {2023}
}
备注
EMNLP 2023 Industry Track