基于最优传输的身份匹配用于身份不变面部表情识别
计算机视觉与模式识别
2022-09-27 v1
摘要
身份不变面部表情识别（FER）一直是具有挑战性的计算机视觉任务之一。由于传统 FER 方案未显式处理面部表情的跨身份差异，其神经网络模型仍依赖于人脸身份而运作。本文提出利用通过特定匹配过程探索的相似表情对来量化跨身份差异。我们将身份匹配过程表述为一个最优传输（OT）问题。具体而言，为从不同身份中寻找相似表情对，我们将特征间相似度定义为传输代价。随后，通过 Sinkhorn-Knopp 迭代执行寻找具有最小传输代价的最优流的身份最优匹配。所提出的匹配方法不仅易于插入其他模型，且仅需可接受的计算开销。大量仿真证明，在野生数据集上，所提 FER 方法相比亚军将 PCC/CCC 性能提升了 10% 或更多。源代码与软件演示可在 https://github.com/kdhht2334/ELIM_FER 获取。
引用
@article{arxiv.2209.12172,
title = {Optimal Transport-based Identity Matching for Identity-invariant Facial Expression Recognition},
author = {Daeha Kim and Byung Cheol Song},
journal= {arXiv preprint arXiv:2209.12172},
year = {2022}
}
备注
Accepted by NeurIPS 2022