构建面向任务导向对话的多模态智能体：MMWOZ数据集
流体动力学
2025-11-18 v1 经典物理
摘要
任务导向对话系统因其能够实现用户目标（如为用户预订航班）而受到广泛关注。传统上，任务导向对话系统被视为与用户进行自然语言交互并访问自定义后端API的智能体。然而，在实际场景中，前端图形用户界面（GUI）的广泛存在以及缺乏自定义后端API，为传统任务导向对话系统在实际应用中创造了显著的差距。为此，我们收集了MMWOZ，这是一个扩展自MultiWOZ 2.3数据集的新型多模态对话数据集。具体而言，我们开发了一个类似网页的GUI作为前端。随后，我们设计了一个自动化脚本，将原始数据集中的对话状态和系统动作转换为GUI的操作指令。最后，我们收集了网页快照及其对应的操作指令。此外，我们提出了一种新型多模态模型，称为MATE（Multimodal Agent for Task-oriEnted dialogue），作为MMWOZ数据集的基线模型。进一步，我们对使用MATE进行的全面实验分析，旨在探讨面向任务导向对话的实用多模态智能体的构建。
引用
@article{arxiv.2511.12585,
title = {Re-examining the boundary conditions in modelling SAW-driven acoustofluidic streaming},
author = {Qinran Wei and Suyu Ding and Yang Zhao and Yuanpeng Ma and Dachuan Sang and Dong Zhang and Xiasheng Guo},
journal= {arXiv preprint arXiv:2511.12585},
year = {2025}
}
备注
16 pages, 13 figures