DSTC9 对话交互式评测赛道
计算与语言
2022-08-01 v1
摘要
对话研究的最终目标是开发能够被真实用户在交互式环境中有效使用的系统。为此，我们在第九届对话系统技术挑战赛（DSTC9）中引入了对话交互式评测赛道。该赛道包含两个子任务。第一个子任务涉及构建知识增强的回复生成模型。第二个子任务旨在通过在与真实用户的交互式环境中对模型进行评估，使对话模型超越静态数据集。我们的赛道挑战参与者开发强大的回复生成模型，并探索将其扩展到与真实用户来回交互的策略。从静态语料库到交互式评测的进展带来了独特的挑战，并促进了对开放域对话系统更全面的评估。本文概述了该赛道，包括方法与结果。此外，它提供了关于如何最佳评估开放域对话模型的见解。
引用
@article{arxiv.2207.14403,
title = {Interactive Evaluation of Dialog Track at DSTC9},
author = {Shikib Mehri and Yulan Feng and Carla Gordon and Seyed Hossein Alavi and David Traum and Maxine Eskenazi},
journal= {arXiv preprint arXiv:2207.14403},
year = {2022}
}
备注
Presented at LREC 2022 and DSTC9 Workshop at AAAI 2021