TimeConvNets：一种用于实时视频面部表情识别的深度时间窗卷积神经网络设计
计算机视觉与模式识别
2020-03-05 v1
摘要
大多数自闭症谱系障碍（ASD）患者面临的一个核心挑战是基于面部表情推断他人情绪的能力受损。随着机器学习近期的显著进展，利用技术辅助此类个体更好地识别面部表情并降低因社会隔离导致的潜在孤独与抑郁风险的一种潜在途径是设计计算机视觉驱动的面部表情识别系统。受这一社会需求以及此类系统低延迟要求的推动，本研究探索了一种新颖的深度时间窗卷积神经网络设计（TimeConvNets），用于实时视频面部表情识别。更具体地，我们探索了一种高效的卷积深度神经网络设计，用于对时间窗视频帧子序列进行时空编码，并研究速度与时准确性之间的相应平衡。此外，为评估所提出的TimeConvNet设计，我们引入了一个更困难的名为BigFaceX的数据集，其由扩展Cohn-Kanade（CK+）、BAUM-1和eNTERFACE公开数据集的修改聚合而成。使用BigFaceX并与其他捕获时空信息的网络设计一起，评估了具有不同骨干网络架构的所提出TimeConvNet设计的不同变体，实验结果表明TimeConvNets能更好地捕获面部表情的瞬时细微差别，并在保持低推理时间的同时提升分类准确率。
引用
@article{arxiv.2003.01791,
title = {TimeConvNets: A Deep Time Windowed Convolution Neural Network Design for Real-time Video Facial Expression Recognition},
author = {James Ren Hou Lee and Alexander Wong},
journal= {arXiv preprint arXiv:2003.01791},
year = {2020}
}
备注
8 pages, 3 figures