MIntRec2.0：面向多轮对话中的多模态意图识别与超出范围检测的大规模基准数据集
多媒体
2024-07-01 v4 计算与语言
摘要
多模态意图识别面临诸多挑战，需融合来自真实场景的非语言模态以增强对人类意图的理解。现有基准数据集规模有限，且难以处理在多轮对话交互中出现的超出范围样本。我们引入 MIntRec2.0，一个用于多方对话中多模态意图识别的大规模基准数据集。数据集包含 1,245 场对话，15,040 个样本，每个样本均被标注于新的 30 类细粒度意图类别中。除 9,304 个范围内样本外，还包含 5,736 个在多轮上下文中出现的超出范围样本，这些样本自然出现在实际场景中。此外，我们提供了每段发言中说话者的详细信息，丰富了其在多方对话研究中的实用性。我们构建了一个通用框架，支持单轮和多轮对话数据的组织、模态特征提取、多模态融合，以及范围内分类和超出范围检测。评估基准采用经典多模态融合方法、ChatGPT 和人类评估者。虽然已有方法融合非语言信息可带来提升，但充分利用上下文信息和检测超出范围样本仍是重大挑战。值得注意的是，大型语言模型的表现与人类存在显著差距，凸显了机器学习方法在认知意图理解任务中的局限性。我们认为 MIntRec2.0 将作为宝贵资源，为人机对话交互研究奠定先驱性基础，并显著促进相关应用的发展。完整数据集和代码已提供，地址为 https://github.com/thuiar/MIntRec2.0 。
引用
@article{arxiv.2403.10943,
title = {MIntRec2.0: A Large-scale Benchmark Dataset for Multimodal Intent Recognition and Out-of-scope Detection in Conversations},
author = {Hanlei Zhang and Xin Wang and Hua Xu and Qianrui Zhou and Kai Gao and Jianhua Su and jinyue Zhao and Wenrui Li and Yanting Chen},
journal= {arXiv preprint arXiv:2403.10943},
year = {2024}
}
备注
Accepted by ICLR 2024, Long Paper; The abstract is slightly modified due to the length limitation