“你让我有这种感觉”：利用语音数据研究伴侣行为对情侣冲突互动中情绪预测的相互影响
计算与语言
2021-09-21 v2
摘要
浪漫伴侣在冲突中的互动方式会影响其在互动结束时的感受，并可预测伴侣长期是否在一起。因此，理解每位伴侣的情绪十分重要。然而当前所用方法包括自我报告，其负担沉重从而限制了此类数据收集的频率。自动情绪预测可应对这一挑战。心理学研究的见解表明，伴侣行为在冲突互动中相互影响彼此的情绪，因此可考虑双方伴侣的行为以更好地预测各自情绪。然而，相较于仅使用每位伴侣自身行为，这样做在情绪预测性能上的比较尚待研究。本工作中，我们使用 BERT 从 368 对德语瑞士情侣（N = 736 人）的数据集中提取语言特征（即伴侣说了什么），并使用 openSMILE 提取副语言特征（即他们如何说），这些情侣在实验室中被录像记录了一段 8 分钟的冲突互动。基于这些特征，我们训练机器学习模型以预测伴侣在冲突互动后感觉正面或负面。结果显示，纳入对方伴侣的行为可提升预测性能。此外，对男性而言，考虑女性伴侣的说话方式最为重要；对女性而言，考虑男性伴侣的说话内容最为重要，以获得更好的预测性能。本工作是迈向基于双方行为自动识别各伴侣情绪的一步，这将有助于在研究、治疗与真实世界中更好地理解情侣关系。
引用
@article{arxiv.2106.01526,
title = {"You made me feel this way": Investigating Partners' Influence in Predicting Emotions in Couples' Conflict Interactions using Speech Data},
author = {George Boateng and Peter Hilpert and Guy Bodenmann and Mona Neysari and Tobias Kowatsch},
journal= {arXiv preprint arXiv:2106.01526},
year = {2021}
}
备注
5 pages. Accepted at the 2nd Workshop on Social Affective Multimodal Interaction for Health (SAMIH) at ICMI 2021