中文

引入MeMo:用于多方对话记忆建模的多模态数据集

计算与语言 2024-10-16 v2 人工智能 人机交互 机器学习

摘要

对话记忆是人们从对话中编码、保留和检索语言、非语言及情境信息的过程。由于人类记忆具有选择性,同一事件的不同回忆可能导致小组内出现误解和不一致。然而,旨在提升群体交互质量的对话促进系统通常仅关注单个会话中用户状态的跟踪,忽略了交互后每个参与者记忆中残留的信息。理解对话记忆可作为长期发展社群关系的重要信息来源。本文介绍了MeMo语料库,这是第一个标注了参与者记忆保持报告的对话数据集,旨在促进人类对话记忆的计算建模。MeMo语料库包含31小时关于新冠疫情的小组讨论,重复进行3次,跨越两周。它整合了经验证的行为和感知措施、音频、视频及多模态标注,为研究和建模对话记忆及群体动态提供了宝贵资源。通过介绍MeMo语料库、分析其有效性,并展示其对未来研究的有用性,本文旨为智能系统开发中的对话记忆建模铺平道路。

关键词

引用

@article{arxiv.2409.13715,
  title  = {Introducing MeMo: A Multimodal Dataset for Memory Modelling in Multiparty Conversations},
  author = {Maria Tsfasman and Bernd Dudzik and Kristian Fenech and Andras Lorincz and Catholijn M. Jonker and Catharine Oertel},
  journal= {arXiv preprint arXiv:2409.13715},
  year   = {2024}
}