从视频中自监督学习面部属性嵌入
计算机视觉与模式识别
2018-08-22 v1
摘要
我们提出了一种自监督框架，通过简单地观看人脸随时间说话、大笑和移动视频来学习面部属性。为完成此任务，我们引入了一个网络，即面部属性网络（FAb-Net），其被训练为将同一视频人脸轨迹中的多帧嵌入到一个共同的低维空间中。通过该方法，我们做出了三点贡献：首先，我们展示该网络可通过为每帧预测置信度/注意力掩码来利用多源帧的信息；其次，我们证明使用课程学习机制可改善所学嵌入；最后，我们证明该网络学到了有意义的面部嵌入，其编码了关于头部姿态、面部关键点和面部表情即面部属性的信息，而无需任何标注数据的监督。在这些任务上我们可与最先进的自监督方法相媲美或更优，并接近监督方法的性能。
引用
@article{arxiv.1808.06882,
title = {Self-supervised learning of a facial attribute embedding from video},
author = {Olivia Wiles and A. Sophia Koepke and Andrew Zisserman},
journal= {arXiv preprint arXiv:1808.06882},
year = {2018}
}
备注
To appear in BMVC 2018. Supplementary material can be found at http://www.robots.ox.ac.uk/~vgg/research/unsup_learn_watch_faces/fabnet.html