MMDialog：面向多模态开放域对话的大规模多轮对话数据集
计算与语言
2022-12-22 v3 人工智能
计算机视觉与模式识别
机器学习
多媒体
摘要
以多模态内容作答已被视为智能对话代理的一项关键能力。本文引入MMDialog数据集以更好地促进多模态对话。MMDialog由经筛选的108万段真实世界对话组成，涵盖4,184个话题中的153万张独特图像。MMDialog具有两项主要且独特的优势：其一，按对话数量计它是最大的多模态对话数据集，达88倍之差；其二，它包含海量话题以泛化开放域。为利用该数据集构建引人入胜的对话系统，我们基于检索与生成场景提出并规范化两项应答生成任务。此外，我们使用前沿技术为上述任务构建两个基线并报告其实验性能。我们还提出一种新颖评价指标MM-Relevance以衡量多模态应答。我们的数据集与脚本发布于https://github.com/victorsungo/MMDialog。
引用
@article{arxiv.2211.05719,
title = {MMDialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation},
author = {Jiazhan Feng and Qingfeng Sun and Can Xu and Pu Zhao and Yaming Yang and Chongyang Tao and Dongyan Zhao and Qingwei Lin},
journal= {arXiv preprint arXiv:2211.05719},
year = {2022}
}