看见并听见未言之意：动机性访谈中具可解释融合的多模态来访者行为分类器
机器学习
2023-09-28 v2 人工智能
计算与语言
音频与语音处理
摘要
动机性访谈（MI）是一种强调协作并鼓励行为改变的疗法。为评估一次 MI 对话的质量，可使用 MISC 编码将来访者话语分类为改变谈话、维持谈话或跟随/中性谈话。MI 对话中改变谈话的比例与治疗结局呈正相关，使得准确分类来访者话语至关重要。本文提出一种分类器，利用文本、韵律、面部表现力与身体表现力等多模态特征，准确区分三种 MISC 类别（改变谈话、维持谈话与跟随/中性谈话）。为训练模型，我们对公开可用的 AnnoMI 数据集进行标注以收集多模态信息，包括文本、音频、面部表现力与身体表现力。此外，我们识别了决策过程中最重要的模态，从而深入理解 MI 对话期间不同模态间的相互作用。
引用
@article{arxiv.2309.14398,
title = {Seeing and hearing what has not been said; A multimodal client behavior classifier in Motivational Interviewing with interpretable fusion},
author = {Lucie Galland and Catherine Pelachaud and Florian Pecune},
journal= {arXiv preprint arXiv:2309.14398},
year = {2023}
}
备注
9 pages, 7 figures