基于菜谱对话中改进指令顺序的研究
计算与语言
2023-05-30 v1
摘要
在本文中，我们研究指令对话任务并聚焦于烹饪领域。通过分析 GPT-J 模型的生成输出，我们揭示出基于菜谱的对话系统的主要挑战在于如何以正确顺序提供指令。我们假设这是由于模型缺乏对用户意图的理解且无法跟踪指令状态（即上一次指示的是哪一步）。因此，我们提出探索两个辅助子任务，即用户意图检测与指令状态跟踪，以改进指令 grounding 来支持回复生成。使用我们新收集的数据集 ChattyChef 进行实验表明，融入用户意图和指令状态信息有助于回复生成模型缓解顺序错误问题。此外，为探究 ChatGPT 是否已完全解决该任务，我们分析了其输出并发现它也会出错（10.7% 的回复），其中约一半为乱序指令。我们将发布 ChattyChef 以促进该领域的进一步研究：https://github.com/octaviaguo/ChattyChef。
引用
@article{arxiv.2305.17280,
title = {Improved Instruction Ordering in Recipe-Grounded Conversation},
author = {Duong Minh Le and Ruohao Guo and Wei Xu and Alan Ritter},
journal= {arXiv preprint arXiv:2305.17280},
year = {2023}
}
备注
Accepted at ACL 2023 main conference