从人脸图像中学习社会关系特质

社会关系定义了两个人或多个人之间的关联，例如温暖、友好和支配性。受心理学研究启发，我们探究此类细粒度且高层的关系特质是否可以从野外的面部图像中刻画并量化。为解决这一挑战性问题，我们提出了一种深度模型，该模型学习丰富的人脸表示以捕捉性别、表情、头部姿态和年龄相关属性，然后执行成对人脸推理以进行关系预测。为了从异构属性源中学习，我们设计了一种带有桥接层的新网络架构，以利用这些数据集之间的固有对应关系。它还能应对目标属性标签缺失的情况。大量实验表明，我们的方法对于图像和视频中的细粒度社会关系学习是有效的。