法语语言模型在抽象对话摘要任务上的有效性
计算与语言
2022-07-19 v1 人工智能
摘要
预训练语言模型已在各种自然语言处理任务上确立了最先进水平，包括对话摘要，其使读者能够从会议、访谈或电话中的长对话快速获取关键信息。然而，此类对话用当前模型仍难以处理，因为语言的自发性涉及极少出现在用于预训练语言模型的语料中的表达。此外，该领域绝大多数工作聚焦于英语。在本工作中，我们提出一项使用多个语言特定预训练模型：BARThez 和 BelGPT-2，以及多语言预训练模型：mBART、mBARThez 和 mT5，对法语自发口语对话进行摘要的研究。实验在 DECODA（呼叫中心）对话语料上进行，其任务是从呼叫者与一名或多名客服人员（视情况而定）之间的呼叫中心对话生成抽象概要。结果表明，BARThez 模型提供了最佳性能，远超 DECODA 上先前的 SOTA。我们进一步讨论了此类预训练模型的局限以及必须为自发对话摘要解决的挑战。
引用
@article{arxiv.2207.08305,
title = {Effectiveness of French Language Models on Abstractive Dialogue Summarization Task},
author = {Yongxin Zhou and François Portet and Fabien Ringeval},
journal= {arXiv preprint arXiv:2207.08305},
year = {2022}
}
备注
Yongxin Zhou, Fran\c{c}ois Portet, Fabien Ringeval. Effectiveness of French Language Models on Abstractive Dialogue Summarization Task. LREC 2022, Marseille, France, 21-23 June 2022