行走与学习：从自我中心视频与上下文数据的面部属性表示学习
计算机视觉与模式识别
2016-06-24 v3
摘要
人们在外貌方面的面部属性（种族、发色、胡须等）以及所穿衣服或配饰（太阳镜、帽子、连帽衫等）分别高度依赖于地理位置和天气条件。本工作首次探索了利用此上下文信息，当佩戴穿戴式相机的人在城市的不同街区行走时，以学习用于面部属性分类的丰富特征表示，而无需先前方法所需的昂贵手动标注。通过在超过 40 小时的自我中心视频上跟踪随意行走者的面孔，我们能够覆盖数万不同身份，并自动提取近 500 万对由相同或不同人脸轨迹连接的图像，以及它们的天气和位置上下文，在姿态和光照变化下。这些图像对被输入一个深度网络，该网络保持由同一轨迹连接的图像的相似性，以捕获与身份相关的属性特征，并优化位置和天气预测以捕获额外的面部属性特征。最后，该网络用手动标注样本微调。我们在穿戴式数据和两个基于网络图像的标准基准数据集（LFWA 和 CelebA）上进行了广泛的实验分析。我们的方法大幅优于从头训练的网络。此外，即使不像先前方法那样使用手动标注的身份标签进行预训练，我们的方法也取得了优于最先进水平的结果。
引用
@article{arxiv.1604.06433,
title = {Walk and Learn: Facial Attribute Representation Learning from Egocentric Video and Contextual Data},
author = {Jing Wang and Yu Cheng and Rogerio Schmidt Feris},
journal= {arXiv preprint arXiv:1604.06433},
year = {2016}
}
备注
Paper accepted by CVPR 2016