DIALIGHT：基于大型语言模型的轻量级多语言任务型对话系统开发与评估

我们提出了 DIALIGHT，一个用于开发和评估多语言任务型对话 系统的工具包，它通过使用预训练语言模型 微调以及利用大型语言模型 的零样本和上下文学习能力，促进了 ToD 系统之间的系统性评估与比较。除了自动评估外，该工具包还具有以下特点： 一个安全、用户友好的 Web 界面，用于在局部话语层面和全局对话层面进行细粒度的人工评估；以及 基于微服务的后端，提高了效率与可扩展性。我们的评估表明，虽然 PLM 微调能带来更高的准确性和连贯性，但基于 LLM 的系统在生成多样且讨人喜欢的回复方面表现出色。然而，我们也发现了 LLM 在遵循特定任务指令和生成多种语言输出方面存在的重大挑战，突出了未来研究的领域。我们希望这个开源工具包能成为旨在开发和正确评估多语言 ToD 系统的研究人员的宝贵资源，并降低目前该领域仍然较高的准入门槛。