自动指令修订(AIR):面向大语言模型的任务适应策略结构化比较
计算与语言
2026-04-13 v1 机器学习
摘要
本文研究了自动指令修订(AIR),这是一种基于规则诱导的方法,用于使用有限的任务特定示例来适应大语言模型(LLM)。我们将AIR置于适应策略的更广阔的格局中,包括提示优化、检索式方法和微调。随后,我们在一套多样化的基准测试套件上对比这些方法,旨在考验不同任务需求,如知识注入、结构化抽取、标签重映射和逻辑推理。该论文认为,适应性能强烈依赖于具体任务:没有单一方法在所有设置下都占据优势。在五个基准测试中,AIR在标签重映射分类任务中表现最佳或接近最佳,而KNN检索在闭卷书面问答任务中表现最佳,微调在结构化抽取和事件顺序推理任务中占据主导。AIR在任务行为可由紧凑、可解释指令规则捕获时最具前景,而检索和微调在以源特定知识或数据集特定标注规则为主导的任务中仍表现更佳。
引用
@article{arxiv.2604.09418,
title = {Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM},
author = {Solomiia Bilyk and Volodymyr Getmanskyi and Taras Firman},
journal= {arXiv preprint arXiv:2604.09418},
year = {2026}
}