基于判别性动态范围增强与多尺度学习的2D+3D面部表情识别

在2D+3D面部表情识别（FER）中，现有方法生成多视角几何图以增强深度特征表示。然而，由于从不完整点云进行局部平面拟合，这可能引入错误估计。本文从信息论视角提出一种新颖的地图生成技术，以从强个性变化中提升细微的3D表情差异。首先，我们检查HDR深度数据以提取判别性动态范围$r_{dis}$，并将$r_{dis}$的熵最大化至全局最优。然后，为防止过度增强引起的大形变，我们引入深度失真约束，并将复杂度从$O(KN^2)$降至$O(KN\tau)$。此外，该约束优化被建模为有向无环图中的$K$边最大权路径问题，并通过动态规划高效求解。最后，我们还设计了一种高效的面部注意力结构，以自动定位细微判别性面部区域进行多尺度学习，并使用提出的损失函数$\mathcal{L}_{FA}$在无需任何面部关键点的情况下进行训练。在不同数据集上的实验结果表明，所提方法有效，并在FER准确率及生成图的输出熵方面优于最先进的2D+3D FER方法。