OptiSeq：面向零样本学习的示例排序优化
机器学习
2025-02-20 v2 人工智能
计算与语言
性能
摘要
使用大语言模型（LLM）和基于LLM的智能体的开发者已提供大量轶事证据，表明零样本学习（in-context learning, ICL）脆弱。本文指出，除了示例的数量和质量之外，示例在提示中列出的顺序会影响LLM的输出，从而影响其性能。虽然先前的工作通过数据依赖性技术改进了ICL，但我们引入OptiSeq，这是一种纯粹在推理阶段、无数据集依赖的优化方法，能够高效确定最佳示例顺序。OptiSeq利用LLM生成输出的对数概率，系统性地修剪可能排序组合的搜索空间，并通过区分表现出高准确率的排序与表现不佳的排序，推荐出最佳排序。对多个LLM、数据集和提示进行大规模实证评估显示，OptiSeq在多个任务中将准确率提高了5.5-10.5个百分点。
引用
@article{arxiv.2501.15030,
title = {OptiSeq: Ordering Examples On-The-Fly for In-Context Learning},
author = {Rahul Atul Bhope and Praveen Venkateswaran and K. R. Jayaram and Vatche Isahagian and Vinod Muthusamy and Nalini Venkatasubramanian},
journal= {arXiv preprint arXiv:2501.15030},
year = {2025}
}