面向视频欺骗检测的面部聚焦跨流网络
计算机视觉与模式识别
2018-12-12 v1
摘要
来自真实生活视频的自动欺骗检测（ADD）是一项具有挑战性的任务。它特别需要解决两个问题：（1）面部和身体都包含关于受试者是否具有欺骗性的有用线索。因此如何有效融合二者是 ADD 模型有效性的关键。（2）真实生活中的欺骗样本难以收集；用有限的训练数据学习因而对大多数基于深度学习的 ADD 模型构成挑战。本工作同时解决这两个问题。具体而言，针对面部-身体多模态学习，提出了一种新颖的面部聚焦跨流网络（FFCSN）。它与流行的双流网络显著不同在于：（a）在空域流中加入人脸检测以显式捕捉面部表情，以及（b）在空域流与时域流之间进行关联学习，以实现跨面部与身体的联合深度特征学习。为解决训练数据稀缺问题，我们的 FFCSN 模型采用元学习与对抗学习相结合进行训练。大量实验表明我们的 FFCSN 模型取得了最先进的结果。此外，所提出的 FFCSN 模型及其鲁棒训练策略被证明普遍适用于其他以人为中心的视频分析任务，例如来自用户生成视频的情感识别。
引用
@article{arxiv.1812.04429,
title = {Face-Focused Cross-Stream Network for Deception Detection in Videos},
author = {Mingyu Ding and An Zhao and Zhiwu Lu and Tao Xiang and Ji-Rong Wen},
journal= {arXiv preprint arXiv:1812.04429},
year = {2018}
}