面向个性化联邦面部表情识别的超图不确定性感知标签优化
计算机视觉与模式识别
2025-01-06 v1
摘要
大多数面部表情识别（FER）模型是通过集中学习在大规模表情数据上训练的。遗憾的是，由于面部图像的隐私问题，在实践中收集大量集中式表情数据十分困难。本文在个性化联邦学习框架下研究 FER，这对于实际应用而言是一种极具价值且实用的去中心化设置。为此，我们开发了一种新颖的超图不确定性感知标签优化（AMY）方法。对于本地训练，每个本地模型由一个主干网络、一个不确定性估计（UE）模块和一个表情分类（EC）模块组成。在 UE 模块中，我们利用超图对表情样本间的复杂高阶关系进行建模，并将这些关系融入不确定性特征中。随后引入个性化不确定性估计器，以估计本地客户端中样本的可靠不确定性权重。在 EC 模块中，我们在超图上执行标签传播，从而获得高质量的优化标签用于重新训练表情分类器。基于上述内容，我们有效缓解了客户端间异构的样本不确定性，并在每个客户端中学习到一个鲁棒的个性化 FER 模型。在两个具有挑战性的真实世界面部表情数据库上的实验结果表明，我们提出的方法始终优于几种最先进的方法。这表明了超图建模在个性化联邦 FER 任务的不确定性估计与标签优化上的优越性。源代码将发布于 https://github.com/mobei1006/AMY。
引用
@article{arxiv.2501.01816,
title = {Uncertainty-Aware Label Refinement on Hypergraphs for Personalized Federated Facial Expression Recognition},
author = {Hu Ding and Yan Yan and Yang Lu and Jing-Hao Xue and Hanzi Wang},
journal= {arXiv preprint arXiv:2501.01816},
year = {2025}
}