排序后再询问：用于最大化LLM在对称任务性能上的输入重排序
机器学习
2024-12-03 v1 数据库
信息检索
摘要
大语言模型（LLM）迅速成为实用且多功能的工具，为广泛领域提供了新的解决方案。本文考虑LLM在对称任务中的应用，其中查询针对（无序的）元素集合提出。此类任务的示例包括对数据库表的聚合查询。一般情况下，当元素集合较大时，LLM倾向于忽略某些元素，导致生成准确响应方面存在挑战。LLM接收的是有序序列的输入。然而，本文利用对称输入无序的事实，指出重新排序不应影响LLM的响应。观察到LLM对输入中特定位置的元素不太可能遗漏，本文提出LLM输入重排序问题：寻找一种排序以在不对查询做出明确假设的情况下，最大化LLM对给定查询的准确性。找到最优排序需要识别（i）每个输入元素的相关性以及（ii）每个排序位置对LLM注意力的重要性。我们开发了高效估计这些值的算法，利用辅助LLM。我们在不同 synthetic 和真实数据集上进行了全面实验，以验证我们的提案并评估所提算法的有效性。我们的实验确认，所提重排序方法可使LLM在对称任务上的准确性提高至接近最优上界的99%。
引用
@article{arxiv.2412.00546,
title = {Rank It, Then Ask It: Input Reranking for Maximizing the Performance of LLMs on Symmetric Tasks},
author = {Mohsen Dehghankar and Abolfazl Asudeh},
journal= {arXiv preprint arXiv:2412.00546},
year = {2024}
}