AdaptEval：评估大型语言模型在文本摘要任务上的领域适应性
计算与语言
2024-10-14 v3
摘要
尽管大型语言模型（LLM）在抽象摘要任务方面取得了进展，但缺乏对其在不同领域轻松适应能力的评估研究。我们评估了LLMs在摘要任务上跨领域的适应能力，分别在微调和零样本学习设置下测试了广泛的LLMs。我们还提出了AdaptEval，即首个领域适应评估套件。AdaptEval包括一个领域基准测试以及一组用于促进领域适应分析的指标。我们的结果表明，LLMs在零样本学习设置下表现出与参数规模相当的性能。
引用
@article{arxiv.2407.11591,
title = {AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization},
author = {Anum Afzal and Ribin Chalumattu and Florian Matthes and Laura Mascarell},
journal= {arXiv preprint arXiv:2407.11591},
year = {2024}
}