TaCIE：通过任务导向指令演化提升大语言模型的指令理解能力
计算机与社会
2024-10-07 v1 人工智能
计算与语言
摘要
大语言模型（LLMs）需要与复杂指令精确对齐，以优化其在实际应用中的性能。随着对精细化指令调谋数据的需求增加，传统方法通常难以有效提升指令的复杂度或在各种领域中管理难度的缩放。我们的创新方法，任务导向指令演化（TaCIE），克服了这些不足，通过重新定义指令演化，从仅演化简单的种子指令转变为更动态和全面的元素组合。TaCIE首先将复杂指令分解为其基本组成部分，然后生成并整合新的元素与原始元素，重新组装成逐渐增加难度、多样性和复杂度的更复杂指令。应用于多个领域，采用这些演化指令微调的 LLM 在与传统方法相比方面显著优于那些使用常规方法进行微调的 LLM，标志着指令基于模型微调的一个重大进步。
引用
@article{arxiv.2410.02795,
title = {TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution},
author = {Jiuding Yang and Shengyao Lu and Weidong Guo and Xiangyang Li and Kaitong Yang and Yu Xu and Di Niu},
journal= {arXiv preprint arXiv:2410.02795},
year = {2024}
}