评估治疗性对话质量：一个多维自然语言处理框架
计算与语言
2025-05-12 v1
摘要
来访者与治疗师之间的投入度是治疗成功的关键决定因素。我们提出了一个多维自然语言处理 (NLP) 框架，该框架基于文本转录稿客观地对咨询会话中的投入质量进行分类。使用 253 份动机性访谈转录稿（150 份高质量，103 份低质量），我们提取了跨越四个领域的 42 个特征：对话动态、作为主题对齐的语义相似度、情感分类和提问检测。分类器，包括随机森林 (RF)、CatBoost 和支持向量机 (SVM)，经过超参数调优，并使用分层 5 折交叉验证进行训练，并在留出测试集上进行评估。在平衡（未增强）数据上，RF 实现了最高的分类准确率 (76.7%)，SVM 实现了最高的 AUC (85.4%)。经过 SMOTE-Tomek 增强后，性能显著提升：RF 达到最高 88.9% 的准确率、90.0% 的 F1 分数和 94.6% 的 AUC，而 SVM 达到 81.1% 的准确率、83.1% 的 F1 分数和 93.6% 的 AUC。增强后的数据结果反映了该框架在未来更大规模应用中的潜力。特征贡献显示，对话动态和来访者与治疗师之间的语义相似度是贡献最大的因素，其中来访者说出的词语（均值和标准差）居首。该框架在原始数据集和增强数据集上均表现稳健，并在 F1 分数和召回率上表现出一致的改进。虽然目前基于文本，但该框架支持未来的多模态扩展（例如，声调、面部表情）以进行更全面的评估。这项工作引入了一种可扩展的、数据驱动的方法来评估治疗会话的投入质量，为临床医生提供实时反馈，以提高虚拟和面对面治疗互动的质量。
引用
@article{arxiv.2505.06151,
title = {Estimating Quality in Therapeutic Conversations: A Multi-Dimensional Natural Language Processing Framework},
author = {Alice Rueda and Argyrios Perivolaris and Niloy Roy and Dylan Weston and Sarmed Shaya and Zachary Cote and Martin Ivanov and Bazen G. Teferra and Yuqi Wu and Sirisha Rambhatla and Divya Sharma and Andrew Greenshaw and Rakesh Jetly and Yanbo Zhang and Bo Cao and Reza Samavi and Sridhar Krishnan and Venkat Bhat},
journal= {arXiv preprint arXiv:2505.06151},
year = {2025}
}
备注
12 pages, 4 figures, 7 tables