Explore-Instruct：通过主动探索增强领域特定指令覆盖度
计算与语言
2023-10-25 v3
摘要
指令微调可通过增强多样性而大幅优化，从而产出能处理更广任务谱的模型。然而，用于此类微调的现有数据往往对单个领域的覆盖不足，限制了在这些区域内进行细致理解与交互的范围。为解决这一缺陷，我们提出 Explore-Instruct，一种通过大语言模型（LLM）主动探索来增强领域特定指令微调所用数据覆盖度的新方法。基于代表性领域用例，Explore-Instruct 通过实施搜索算法探索大量变体或可能性，以获取多样化且聚焦领域的指令微调数据。我们以数据为中心的分析验证了该提出方法在改善领域特定指令覆盖度上的有效性。此外，我们的模型性能相较多个基线（包括那些利用领域特定数据增强的基线）展现出显著进步。我们的发现为改善指令覆盖度（尤其在领域特定语境下）提供了有前景的机会，从而推进自适应语言模型的发展。我们的代码、模型权重与数据已公开于 \url{https://github.com/fanqiwan/Explore-Instruct}。
引用
@article{arxiv.2310.09168,
title = {Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through Active Exploration},
author = {Fanqi Wan and Xinting Huang and Tao Yang and Xiaojun Quan and Wei Bi and Shuming Shi},
journal= {arXiv preprint arXiv:2310.09168},
year = {2023}
}
备注
Accepted to EMNLP 2023 (Main Conference)