CESAR：面向多轮对话的组合式指令自动归纳
计算与语言
2023-11-30 v1
摘要
基于指令的多任务处理在大型语言模型（LLMs）于多轮对话应用中的成功起到了关键作用。尽管公开可用的 LLM 已展现出可喜表现，但当面对带多重约束的复杂指令时，它们落后于 ChatGPT 等最先进模型。本工作中，我们假设大规模复杂示范的可用性对弥合此差距至关重要。聚焦于对话应用，我们提出一个新框架 CESAR，其以相同格式统一大量对话任务，并允许以无人工干预的方式程序化归纳复杂指令。我们将 CESAR 应用于 InstructDial（一个基于指令的对话任务基准）。我们进一步以新数据集与任务增强 InstructDial，并利用 CESAR 归纳带组合式指令的复杂任务。这产生了一个名为 InstructDial++ 的新基准，包含 63 个数据集、86 个基础任务与 68 个组合任务。通过严谨实验，我们展示了 CESAR 在提供丰富指令上的可扩展性。在 InstructDial++ 上训练的模型可遵循组合式提示，例如要求多重风格约束的提示。
引用
@article{arxiv.2311.17376,
title = {CESAR: Automatic Induction of Compositional Instructions for Multi-turn Dialogs},
author = {Taha Aksu and Devamanyu Hazarika and Shikib Mehri and Seokhwan Kim and Dilek Hakkani-Tür and Yang Liu and Mahdi Namazifar},
journal= {arXiv preprint arXiv:2311.17376},
year = {2023}
}
备注
EMNLP 2023