基于面部运动的自监督光流计算方法
计算机视觉与模式识别
2021-05-05 v1 神经与进化计算
摘要
计算光流是计算机视觉中的基本问题。然而,基于深度学习的光流技术对非刚性运动(如面部运动)表现不佳,主要由于缺乏表征精细面部运动的训练数据。我们假设在面部运动数据上学习光流将提升在脸上预测光流的质量。本工作的目的有三:(1)探索自监督技术以为人脸图像生成光流真值;(2)计算使用人脸数据训练卷积神经网络(CNN)预测光流的基线结果;(3)将学到的光流用于微表情识别以证明其有效性。我们利用 BP4D-Spontaneous 数据集中的面部关键点生成光流真值。所生成的光流用于训练 FlowNetS 架构以测试其在生成数据集上的性能。在人脸图像上训练的 FlowNetS 性能超越了其他光流 CNN 架构,证明了其实用性。我们的光流特征进一步使用 STSTNet 微表情分类器与其他方法比较,结果表明本工作所得光流在面部表情分析中具有可观的应用前景。
引用
@article{arxiv.2105.01256,
title = {Self-Supervised Approach for Facial Movement Based Optical Flow},
author = {Muhannad Alkaddour and Usman Tariq and Abhinav Dhall},
journal= {arXiv preprint arXiv:2105.01256},
year = {2021}
}
备注
14 pages, 4 figures, 5 tables The supplemental material (error histograms) can be found on https://www.dropbox.com/s/o7158gi46tppvb1/SupplementalMaterial_OpticalFlow.docx?dl=0 Manuscript submitted to: IEEE Transactions on Affective Computing