MUFFIN：构建多面指令以提升指令遵循能力
计算与语言
2024-03-18 v3 人工智能
摘要
在大语言模型领域，提升指令遵循能力通常涉及构建大规模训练数据。这通过两种主要方案实现：i) Scaling-Inputs：扩展每个任务指令的 (输入, 输出) 对，旨在更好地遵循指令。ii) Scaling Input-Free Tasks：扩展任务，每个任务由一个 (指令, 输出) 对组成（不再需要单独的输入）。然而，Scaling-Inputs 下的 LLM 往往对输入过于敏感，导致误解或不遵守指令。相反，Scaling Input-Free Tasks 需要大量任务，但在处理 Scaling-Inputs 中的实例时，其指令遵循效果较差。本研究引入了 MUFFIN，一种新的指令遵循数据集构建方案。具体而言，我们通过用各种输入面向多样化任务，实现每个输入的自动任务扩展。在跨越 Scaling-Inputs 和 Scaling Input-Free Tasks 两种方案的四个零样本基准上的实验结果表明，在 MUFFIN 上训练的各种规模的 LLM，通常比在上述两种方案上训练的 LLM 表现出更优的指令遵循能力。
引用
@article{arxiv.2312.02436,
title = {MUFFIN: Curating Multi-Faceted Instructions for Improving Instruction-Following},
author = {Renze Lou and Kai Zhang and Jian Xie and Yuxuan Sun and Janice Ahn and Hanzi Xu and Yu Su and Wenpeng Yin},
journal= {arXiv preprint arXiv:2312.02436},
year = {2024}
}
备注
ICLR 2024. Data, model, and code are available at: https://renzelou.github.io/Muffin/