Xinyu：基于大语言模型的高效评论生成系统
计算与语言
2024-08-26 v2 人工智能
摘要
评论通过呈现多样化论点与证据，为读者提供对事件的深入理解。然而，创作评论耗时，即使是有经验的评论员也是如此。大语言模型(LLM)简化了自然语言生成过程，但其直接应用于评论创作仍面临独特任务要求。这些要求可分为两个层次：1)基本要求，包括创建结构完整且逻辑一致的叙述；2)高级要求，涉及生成高质量论点并提供令人信服的证据。本文介绍Xinyu，一个旨在帮助评论员生成中文评论的高效LLM系统。为满足基本要求，我们将生成过程分解为顺序步骤，为每个步骤提出针对性策略并进行监督微调(SFT)。为解决高级要求，我们提出一种论点排序模型用于论点，并建立一个包含最新事件和经典书籍的综合证据数据库，通过检索增强生成(RAG)技术强化证据的说服力。为更公平地评估生成的评论，对应这两个层次的要求，我们引入一个考虑评论生成中五个不同视角的综合评估指标。我们的实验确认了我们提出系统的有效性。我们还观察到，在实际场景中，评论员的效率显著提升，创建单个评论的时间从4小时降至20分钟。重要的是，这种效率的提升并未妥协评论质量。
引用
@article{arxiv.2408.11609,
title = {Xinyu: An Efficient LLM-based System for Commentary Generation},
author = {Yiquan Wu and Bo Tang and Chenyang Xi and Yu Yu and Pengyu Wang and Yifei Liu and Kun Kuang and Haiying Deng and Zhiyu Li and Feiyu Xiong and Jie Hu and Peng Cheng and Zhonghao Wang and Yi Wang and Yi Luo and Mingchuan Yang},
journal= {arXiv preprint arXiv:2408.11609},
year = {2024}
}