从面部表情识别到人际关系预测

人际关系定义了两个或更多人之间的关联，例如温暖、友好和支配性。受心理学研究的启发，我们研究了是否可以从自然场景人脸图像中刻画和量化这种细粒度且高层次的关系特征。我们通过首先研究用于鲁棒识别面部表情的深度网络架构来解决这一挑战性问题。与通常仅从面部表情标签学习的现有模型不同，我们设计了一个有效的多任务网络，它能够超越单纯的面部表情数据，从丰富的辅助属性（如性别、年龄和头部姿态）中进行学习。虽然传统的监督训练需要带有完整标签的数据集（例如，所有样本必须标有性别、年龄和表情），但我们表明可以通过一种新颖的属性传播方法放宽这一要求。该方法进一步允许我们利用异构属性源之间固有的对应关系，尽管不同数据集的分布存在差异。利用该网络，我们在现有的面部表情识别基准上展示了 SOTA 结果。为了预测人际关系，我们使用该表情识别网络作为 Siamese 模型的分支。大量实验表明，我们的模型能够挖掘人脸间的相互上下文，从而实现准确的细粒度人际关系预测。