按需定制面部行为：在单一网络中实现表情、情感与动作单元分析

自动面部行为分析在计算机视觉、生理学与心理学的交叉领域有着长期的研究历史。然而，直到最近随着大规模数据集的收集以及深度神经网络等强大机器学习方法的出现，自动面部行为分析才开始蓬勃发展。其三个标志性任务是：基本表情（如高兴、悲伤、惊讶）的自动识别、连续情感（如效价与唤醒度）的估计，以及面部动作单元（如上/内眉毛、鼻皱等激活）的检测。迄今为止，这些任务大多独立研究并为该任务收集数据集。我们提出了首个也是规模最大的研究，将所有面部行为任务联合学习于一个多任务、多域、多标签网络中，称之为FaceBehaviorNet。为此，我们利用了社区中研究野外面部行为任务的所有公开可用数据集（约500万张图像）。我们证明，对所有任务联合训练端到端网络始终优于训练各个单任务网络。此外，我们提出两种在训练期间耦合任务的简单策略——协同标注与分布匹配，并展示了该方法的优势。最后我们表明，FaceBehaviorNet已学习到封装面部行为所有方面的特征，并可成功应用于零样本与少样本学习设定下执行其未训练过的任务（复合情感识别）。