基于LLM的积分榜生成中的有效上下文选择：一项实证研究
计算与语言
2024-07-03 v1
摘要
本文探讨了上下文选择对大语言模型（LLM）在生成人工智能（AI）研究积分榜方面效率的影响。该任务定义为从学术论文中提取（任务、数据集、指标、得分）四元组。通过将这一挑战定义为文本生成目标，并采用FLAN-T5集合进行指令微调，我们引入了一种新方法，超越了传统的自然语言推理（NLI）方法，能够在无需预定义分类学的情况下适应新发展。通过对三种不同类型、选择性和长度各异的上下文进行实验，我们的研究表明，有效的上下文选择在提高LLM准确率和减少幻觉方面至关重要，为可靠且高效地生成AI积分榜提供了新途径。该工作不仅推动了积分榜生成领域的技术进步，也为缓解LLM基于信息抽取常见挑战提供了策略建议。
引用
@article{arxiv.2407.02409,
title = {Effective Context Selection in LLM-based Leaderboard Generation: An Empirical Study},
author = {Salomon Kabongo and Jennifer D'Souza and Sören Auer},
journal= {arXiv preprint arXiv:2407.02409},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2406.04383