压缩视频中身份感知的面部表情识别
计算机视觉与模式识别
2021-01-11 v2 人工智能
机器学习
多媒体
摘要
本文旨在探索压缩视频域中消除主体间变化的面部表情表示。大多数先前方法处理序列的 RGB 图像，而现成且有价值的与表情相关的肌肉运动已嵌入在压缩格式中。在压缩率达两个数量级的压缩域中，我们可从残差帧显式推断表情，并可用预训练的人脸识别网络从 I 帧提取身份因子。通过强制它们的边缘独立，表情特征有望更纯净地用于表情且对身份偏移具有鲁棒性。我们无需身份标签或同一人的多个表情样本来进行身份消除。此外，当数据集中标注了顶点帧时，可进一步添加互补约束以正则化特征级博弈。在测试中，仅需压缩残差帧即可实现表情预测。我们的方案在典型 FER 基准上可达到与近期基于解码图像的方法相当或更好的性能，且使用压缩数据的推理速度约快 3。
引用
@article{arxiv.2101.00317,
title = {Identity-aware Facial Expression Recognition in Compressed Video},
author = {Xiaofeng Liu and Linghao Jin and Xu Han and Jun Lu and Jane You and Lingsheng Kong},
journal= {arXiv preprint arXiv:2101.00317},
year = {2021}
}
备注
Accepted as the Oral paper at ICPR 2020 (<4.4%). arXiv admin note: substantial text overlap with arXiv:2010.10637