基于合成数据的多样性与细粒度指令遵循能力探索
人工智能
2024-07-08 v1 计算与语言
人机交互
摘要
指令遵循对于大型语言模型（LLM）支持多样化用户请求至关重要。虽然已有工作在与人类偏好一致方面取得进展，但评估其指令遵循能力仍面临挑战，这源于现实用户指令的复杂性和多样性。现有评估方法侧重通用技能，却存在两个主要局限：即缺乏细粒度的任务层级评估，以及依赖单一指令表达。为此，本文引入 DINGO，一个细粒度且多样化的指令遵循评估数据集，其两大优势体现在：（1）DINGO 基于从真实世界用户请求中手动标注的细粒度多层级类别树构建，包含130个节点；（2）DINGO 包括多样化指令，由 GPT-4 与专家人工生成。通过大量实验，我们展示 DINGO 不仅能为 LLM 提供更具挑战性和全面的评估，还能为进一步改进 LLM 提供任务层级的细粒度指导。
引用
@article{arxiv.2407.03942,
title = {Diverse and Fine-Grained Instruction-Following Ability Exploration with Synthetic Data},
author = {Zihui Gu and Xingwu Sun and Fengzong Lian and Zhanhui Kang and Cheng-Zhong Xu and Ju Fan},
journal= {arXiv preprint arXiv:2407.03942},
year = {2024}
}