LLM 辅助的半监督抽取式对话摘要
计算与语言
2023-11-27 v2 人工智能
摘要
为聊天对话生成高质量摘要通常需要大规模标注数据集。我们提出一种高效利用无标注数据的方法，用于客户-客服对话的抽取式摘要。在我们的方法中，我们将摘要构建为一个问答问题，并使用最先进的大语言模型（LLMs）为对话生成伪标签。随后我们使用这些伪标签微调一个对话摘要模型，从而将知识从大型 LLM 迁移至一个较小的专用模型。我们在 \tweetsumm 数据集上演示了该方法，并表明使用原始标注数据集的 10%，我们可以达到 65.9/57.0/61.0 的 ROUGE-1/-2/-L，而在完整训练集上训练的当前最优模型取得 65.16/55.81/64.37 的 ROUGE-1/-2/-L。换言之，在最坏情况（即 ROUGE-L）下，我们使用仅 10% 的数据仍有效保留了 94.7% 的性能。
引用
@article{arxiv.2311.11462,
title = {LLM aided semi-supervision for Extractive Dialog Summarization},
author = {Nishant Mishra and Gaurav Sahu and Iacer Calixto and Ameen Abu-Hanna and Issam H. Laradji},
journal= {arXiv preprint arXiv:2311.11462},
year = {2023}
}
备注
to be published in EMNLP Findings