基于长短期记忆与卷积神经网络的多模态视频表观人格识别
计算机视觉与模式识别
2019-11-04 v1
摘要
人格计算与情感计算——其中人格特质的识别至关重要——近来在许多研究领域获得了日益增长的兴趣与关注。我们提出一种从视频中识别人们大五人格特质的新方法。人格与情绪影响社交语境中的说话风格、面部表情、身体动作与语言因素，并受环境要素影响。我们开发了一个基于人脸、环境、音频与转录特征等多种模态的多模态系统来识别表观人格。我们使用模态特定的神经网络独立学习识别特质，并通过这些网络的特征级融合获得表观人格的最终预测。我们采用预训练的深度卷积神经网络如ResNet与VGGish网络提取高层特征，并使用长短期记忆网络整合时间信息。我们使用两阶段训练过程训练由模态特定子网络构成的大模型。我们首先分别训练子网络，然后使用这些已训练网络微调整体模型。我们使用ChaLearn First Impressions V2挑战数据集评估所提方法。相比当前最优方法，我们的方法在五个性格特质平均的总体“平均准确率”得分上取得最佳。
引用
@article{arxiv.1911.00381,
title = {Multimodal Video-based Apparent Personality Recognition Using Long Short-Term Memory and Convolutional Neural Networks},
author = {Süleyman Aslan and Uğur Güdükbay},
journal= {arXiv preprint arXiv:1911.00381},
year = {2019}
}