利用大语言模型的强大能力：面向高质量方面基准述的微调方法
计算与语言
2024-08-06 v1 人工智能
信息检索
摘要
数字信息量的持续增长迫切需要高效的方法，使用户能够从冗长文档中提取关键信息。方面基准述提供了一种面向特定文档方面生成摘要的有针对性的方法。尽管方面基准述研究取得了进展，但持续寻求更好的模型性能。鉴于大语言模型（LLMs）已显示出在自然语言处理领域各类任务中革命性潜力，尤其是在摘要任务中，本文探索了利用微调大语言模型进行方面基准述的潜力。我们评估了对开源基础大语言模型（包括 Llama2、Mistral、Gemma 和 Aya）在公开可用的基于域的方面摘要数据集上进行微调的影响。我们假设，这种方法将使这些模型有效地识别和提取与特定方面相关的信息，从而产生高质量的方面基准述。我们建立了全面的评估框架，用于比较微调后大语言模型与竞争性方面基准述方法以及微调后大语言模型的 vanilla 版本之间的性能。我们的工作为方面基准述领域做出了贡献，表明微调大语言模型生成高质量方面基准述的有效性。此外，这为在各类 NLP 领域中利用大语言模型进行面向信息提取任务的进一步探索开辟了道路。
引用
@article{arxiv.2408.02584,
title = {Leveraging the Power of LLMs: A Fine-Tuning Approach for High-Quality Aspect-Based Summarization},
author = {Ankan Mullick and Sombit Bose and Rounak Saha and Ayan Kumar Bhowmick and Aditya Vempaty and Pawan Goyal and Niloy Ganguly and Prasenjit Dey and Ravi Kokku},
journal= {arXiv preprint arXiv:2408.02584},
year = {2024}
}