基于头部运动与面部表情动态的可解释以人为中心特质预测
机器学习
2023-02-24 v2 计算机视觉与模式识别
摘要
我们探究多模态行为线索对可解释的个性及面试相关特质预测的有效性。我们利用称为 kineme 的基本头部运动单元、称为动作单元的原子面部运动以及语音特征来估计这些以人为中心的特质。实证结果证实，kineme 与动作单元能够发现多种特质相关行为，同时也支持对预测的可解释性。对于线索融合，我们探究了决策级与特征级融合，以及一种基于加性注意力的融合策略，该策略量化了三种模态在特质预测中的相对重要性。在 MIT Interview 与 First Impressions Candidate Screening（FICS）数据集上考察多种长短期记忆（LSTM）架构用于分类与回归，我们注意到：（1）多模态方法优于单模态对应方法；（2）单模态与多模态方法均可实现高效的特质预测与合理阐释；（3）遵循 thin-slice 方法，即便仅从两秒行为片段亦可实现有效特质预测。
引用
@article{arxiv.2302.09817,
title = {Explainable Human-centered Traits from Head Motion and Facial Expression Dynamics},
author = {Surbhi Madan and Monika Gahalawat and Tanaya Guha and Roland Goecke and Ramanathan Subramanian},
journal= {arXiv preprint arXiv:2302.09817},
year = {2023}
}