探讨大五人格特质在音视频 rapport 估计中的作用

社交互动中基于人类主观感受的 rapport 估计是情感计算的核心组件。近期研究表明，使用主体人格特质作为模型输入可提高初始互动中 rapport 估计性能。本研究通过开发利用非语言线索（音频和面部表情）作为输入的 rapport 估计模型，检验这一发现是否适用于朋友间的互动。实验结果表明，将大五人格特征 (BFFs) 融入非语言特征可提升自我报告的 dyadic 互动中 rapport 估计性能。随后，我们通过比较带 BFFs 和无 BFFs 的模型，解构 rapport 评分中的主体效应（人们对他人评分倾向）、客体效应（人们被他人评分倾向）和关系效应（特定关系中主体对客体的独特评分），分析 BFFs 对捕捉各效应的贡献。我们的分析表明，主体的 BFFs 帮助模型捕捉主体效应，客体的 BFFs 帮助模型捕捉客体效应。实验结果指出，面部表情特征与 BFFs 的组合不仅在估计 rapport 评分方面实现最佳性能，还在估计三种效应方面表现突出。本研究是理解为何人格感知模型在人际感知中实现高估计性能的第一步。