面向跨域面部表情识别的对抗图表示自适应

由于主观标注过程和不同的采集条件，不同面部表情识别（FER）数据集之间的数据不一致性和偏差不可避免。近期工作借助对抗机制学习域不变特征以缓解域偏移。然而，这些工作大多关注整体特征自适应，忽略了在不同数据集间更具可迁移性的局部特征。此外，局部特征携带更细致且具判别性的内容用于表情识别，因此融合局部特征可实现细粒度自适应。本文提出一种新颖的对抗图表示自适应（AGRA）框架，将图表示传播与对抗学习统一起来，用于跨域整体-局部特征协同自适应。为此，我们首先在每个域内构建一张图以关联整体与局部区域，并在不同域间构建另一张图以关联这些区域。然后，我们学习每个域的逐类统计分布，并从输入图像中提取整体-局部特征以初始化相应的图节点。最后，我们引入两个堆叠的图卷积网络，在每个域内传播整体-局部特征以探索其交互，并在不同域间传播以实现整体-局部特征协同自适应。由此，AGRA框架能够自适应地学习细粒度域不变特征，从而促进跨域表情识别。我们在多个流行基准上进行了广泛且公平的实验，结果表明所提出的AGRA框架优于以往最先进的方法。