XATU：面向可解释文本修改的细粒度指令基准
计算与语言
2024-03-18 v2
摘要
文本编辑是一项关键任务，旨在修改文本以更好地契合用户意图。然而，现有的文本编辑基准数据集仅包含粗粒度指令且缺乏可解释性，从而导致输出偏离金标准参考中所概述的预期修改。为全面探究大语言模型（LLM）的文本编辑能力，本文提出 XATU，这是首个专为基于细粒度指令的可解释文本编辑设计的基准。XATU 考虑了不同难度的更细粒度文本编辑任务（简化、语法检查、事实核查等），涵盖了词汇、句法、语义及知识密集型的编辑维度。为增强可解释性，我们结合基于 LLM 的标注与人工标注，构建出包含细粒度指令与金标准编辑解释的基准。通过在我们的基准上评估现有 LLM，我们展示了指令微调的有效性以及底层架构在不同编辑任务上的影响。此外，大量实验揭示了编辑解释在微调语言模型以完成文本编辑任务中的重要作用。该基准将开源以支持复现并推动未来研究，见 \url{https://github.com/megagonlabs/xatu}。
引用
@article{arxiv.2309.11063,
title = {XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates},
author = {Haopeng Zhang and Hayate Iso and Sairam Gurajada and Nikita Bhutani},
journal= {arXiv preprint arXiv:2309.11063},
year = {2024}
}
备注
LREC-COLING 2024