SIMMC：情境化交互式多模态对话数据收集与评估平台
计算与语言
2020-02-03 v2 人工智能
摘要
随着数字虚拟助手变得无处不在，理解用户与这些助手交互时的情境化行为变得愈发重要。为此，我们引入 SIMMC，一个基于 ParlAI 扩展的多模态对话数据收集与系统评估工具。SIMMC 模拟沉浸式设置，众包工作者能够在 AI Habitat 或 Unity 中构建的环境里进行交互并展开对话。SIMMC 中的助手可以是众包工作者或人工智能（AI）智能体。这使得（i）用于数据收集的多玩家 / 绿野仙踪设置，或（ii）用于模型 / 系统评估的单玩家模式成为可能。我们计划将该平台上收集的情境化对话数据集开源，以供对话 AI 研究社区使用。
引用
@article{arxiv.1911.02690,
title = {SIMMC: Situated Interactive Multi-Modal Conversational Data Collection And Evaluation Platform},
author = {Paul A. Crook and Shivani Poddar and Ankita De and Semir Shafi and David Whitney and Alborz Geramifard and Rajen Subba},
journal= {arXiv preprint arXiv:1911.02690},
year = {2020}
}
备注
ASRU 2019 (demonstration)