利用跨模态嵌入增强表观人格特质分析

自动人格特质评估对于高质量的人机交互至关重要。能够进行人类行为分析的系统可用于自动驾驶汽车、医学研究和监控等众多领域。我们提出了一种具有 Siamese 扩展的多模态深度神经网络，用于在短视频记录上训练并利用模态不变嵌入进行表观人格特质预测。利用声学、视觉和文本信息以在此任务中实现高性能解决方案。由于所分析数据集的目标分布高度集中，第三位数字的变化是相关的。我们提出的方法解决了表征不足的极端值的挑战，实现了 0.0033 的 MAE 平均提升，并且与没有引入该模块的基线多模态 DNN 相比显示出明显的优势。