通过看电视学习鬼脸表情

与需要显式监督的计算机视觉系统不同，人类可以通过观察环境中的人来学习面部表情。在本文中，我们探讨如何在机器视觉中发展类似的能力。作为起点，我们考虑将面部表情与视频中发生的客观可测量事件相关联的问题。具体而言，我们考虑一个参赛者为赢得巨额奖金而进行游戏的竞赛节目。我们从视频中客观且自动地提取影响游戏的事件和相应的面部表情，从而为我们的研究获取大量带标签的数据。我们还利用 FER 和 SFEW 2.0 等基准，开发了用于面部表情识别的最先进的深度神经网络，并表明在人脸验证数据上进行预训练对该任务非常有益。然后，我们扩展这些模型，以使用面部表情来预测视频中的事件，并从中学习可命名的表情。数据集和情绪识别模型可在 http://www.robots.ox.ac.uk/~vgg/data/facevalue 获取。