AmbigNLG:解决自然语言生成指令中的任务歧义
计算与语言
2024-11-05 v4
摘要
我们引入了AmbigNLG,一项旨在解决自然语言生成(NLG)指令中任务歧义挑战的新任务。模糊指令常常阻碍大型语言模型(LLM)的性能,尤其是在复杂NLG任务中。为了解决这个问题,我们提出了一个歧义分类法,对不同类型的指令歧义进行分类,并用更清晰的规范细化初始指令。伴随此任务,我们提出了AmbigSNI-NLG数据集,包含2500个标注实例以促进AmbigNLG研究。通过与最先进LLM的综合实验,我们证明我们的方法显著增强了生成文本与用户期望的对齐,ROUGE分数提高了多达15.02分。我们的发现强调了解决任务歧义以充分利用LLM在NLG任务中能力的关键重要性。此外,我们确认了我们的方法在涉及与用户交互式歧义缓解的实际环境中的有效性,强调了利用LLM进行交互式澄清的好处。
引用
@article{arxiv.2402.17717,
title = {AmbigNLG: Addressing Task Ambiguity in Instruction for NLG},
author = {Ayana Niwa and Hayate Iso},
journal= {arXiv preprint arXiv:2402.17717},
year = {2024}
}
备注
EMNLP 2024 (main)