基于大语言模型的零样本跨语言摘要
计算与语言
2023-10-25 v4 人工智能
摘要
给定一篇源语言文档，跨语言摘要（CLS）旨在生成不同目标语言的摘要。近期，GPT-3.5、ChatGPT 和 GPT-4 等大语言模型（LLMs）的出现引起了计算语言学界的广泛关注。然而，LLMs 在 CLS 上的性能尚不清楚。在本报告中，我们经验性地使用各种提示从不同范式（即端到端和流水线）引导 LLMs 执行零样本 CLS，并对生成的摘要提供初步评估。我们发现 ChatGPT 和 GPT-4 最初倾向于生成包含详细信息的冗长摘要。在这两种 LLMs 的帮助下，通过交互式提示可以进一步平衡信息量与简洁性，显著提升其 CLS 性能。在三个广泛使用的 CLS 数据集上的实验结果表明，GPT-4 实现了 SOTA 的零样本 CLS 性能，并且与微调的 mBART-50 相比具有竞争力。此外，我们还发现一些多语言和双语 LLMs（即 BLOOMZ、ChatGLM-6B、Vicuna-13B 和 ChatYuan）的零样本 CLS 能力有限。由于 CLS 的复合性质，要求模型同时执行摘要和翻译，以零样本方式完成此任务对 LLMs 而言甚至是一项挑战。因此，我们真诚地希望并建议未来的 LLM 研究可以将 CLS 作为测试平台。
引用
@article{arxiv.2302.14229,
title = {Zero-Shot Cross-Lingual Summarization via Large Language Models},
author = {Jiaan Wang and Yunlong Liang and Fandong Meng and Beiqi Zou and Zhixu Li and Jianfeng Qu and Jie Zhou},
journal= {arXiv preprint arXiv:2302.14229},
year = {2023}
}
备注
Both first authors contributed equally. Technical Report, 12 pages. Accepted to the 4th New Frontiers in Summarization Workshop (NewSumm@EMNLP 2023)