用于痴呆监测与诊断的纵向多模态数据集
计算与语言
2023-12-27 v2 人工智能
数据库
多媒体
摘要
痴呆影响成年人的认知功能，包括记忆、语言和行为。诸如 MRI 等标准诊断生物标志物成本高昂，而神经心理学测试在检测痴呆发病时存在灵敏度问题。语音和语言的分析已成为一种有前景且非侵入性的诊断和监测痴呆的技术。目前，该方向的大部分工作忽略了人类交流的多模态性质以及日常会话交互的交互方面。此外，由于缺少一致的纵向数据，大多数研究忽略了认知状态随时间的变化。在此，我们介绍一个在自然环境中收集的新型细粒度纵向多模态语料库，来自健康对照者和痴呆患者，分为两个阶段，每阶段跨越 28 次会话。该语料库由口语对话（其中一部分被转写）以及打字和书写的想法及相关的超语言信息（如笔触和按键）组成。我们展示了数据收集过程并详细描述该语料库。此外，我们为在两个群体（健康对照者和痴呆患者）中捕捉跨不同模态的语言纵向变化建立了基线，并概述了该语料库所支持的未来研究方向。
引用
@article{arxiv.2109.01537,
title = {A Longitudinal Multi-modal Dataset for Dementia Monitoring and Diagnosis},
author = {Dimitris Gkoumas and Bo Wang and Adam Tsakalidis and Maria Wolters and Arkaitz Zubiaga and Matthew Purver and Maria Liakata},
journal= {arXiv preprint arXiv:2109.01537},
year = {2023}
}