使用分解多尺度时空网络进行面部表情分析
计算机视觉与模式识别
2022-03-22 v1
摘要
基于视频的面部表情分析已日益应用于推断个体的健康状态，如抑郁与疼痛。在现有方法中，由多尺度时空处理结构组成的深度学习模型已展现出编码面部动态的强潜力。然而，此类模型计算复杂度高，难以部署这些方案。为解决此问题，我们引入一种分解多尺度时空特征提取的新技术。特别地，提出称为分解多尺度时空网络（DMSN）的构建块结构及其三种变体：DMSN-A、DMSN-B 与 DMSN-C 块。DMSN-A 块通过在多个时间范围分析时空特征生成多尺度表示，DMSN-B 块在多个范围分析时空特征，而 DMSN-C 块在多个空间尺寸分析时空特征。利用这些变体，我们设计了 DMSN 架构，其能探索多种多尺度时空特征，有利于适配不同面部行为。我们在具挑战性数据集上的大量实验表明，DMSN-C 块对抑郁检测有效，而 DMSN-A 块对疼痛估计高效。结果还表明，我们的 DMSN 架构为从随时间较少面部变化（如抑郁检测）到较大变化（如疼痛估计）的表情提供了高性价比方案。
引用
@article{arxiv.2203.11111,
title = {Facial Expression Analysis Using Decomposed Multiscale Spatiotemporal Networks},
author = {Wheidima Carneiro de Melo and Eric Granger and Miguel Bordallo Lopez},
journal= {arXiv preprint arXiv:2203.11111},
year = {2022}
}