对未见变异模式鲁棒的模态变分LSTM：在面部表情识别中的应用
计算机视觉与模式识别
2018-11-19 v1 机器学习
摘要
时空特征编码对于编码视频序列中的动态信息至关重要。循环神经网络，尤其是长短期记忆（LSTM）单元，作为编码序列中时空特征的高效工具已广受欢迎。在本工作中，我们研究了使用LSTM时模态变化对编码的时空特征的影响。我们表明，LSTM保留了与序列中模态变化相关的信息，而这些信息与当前任务（例如分类面部表情）无关。实际上，LSTM的遗忘机制对模态变化不够鲁棒，并保留了可能对编码的时空特征产生负面影响的信息。我们提出模态变分LSTM来编码对未见模态变化鲁棒的时空特征。模态变分LSTM通过添加一个额外的细胞状态来修改原始LSTM结构，该状态专注于编码输入序列中的模态变化。为了有效调节哪些特征应存储在该额外细胞状态中，还引入了额外的门控功能。所提出的模态变分LSTM的有效性通过面部表情识别任务得到验证。在公开可用数据集上的对比实验证实，所提出的模态变分LSTM优于现有方法。此外，我们收集了一个新的具有不同模态变化（包括姿态和光照变化等多种模式）的动态面部表情数据集，以全面评估所提出的模态变分LSTM。实验结果证实，所提出的模态变分LSTM编码了对未见模态变化鲁棒的时空特征。
引用
@article{arxiv.1811.06937,
title = {Mode Variational LSTM Robust to Unseen Modes of Variation: Application to Facial Expression Recognition},
author = {Wissam J. Baddar and Yong Man Ro},
journal= {arXiv preprint arXiv:1811.06937},
year = {2018}
}
备注
Accepted in AAAI-19