平衡手形分类：通过生成模型缓解数据不平衡
计算机视觉与模式识别
2025-08-21 v1 人工智能
摘要
大多数手语手形数据集规模严重受限且不平衡，给有效的模型训练带来了重大挑战。在本文中，我们通过生成合成数据来探索增强手形分类器训练数据的有效性。我们使用在 RWTH 德语手语手形数据集上训练的 EfficientNet 分类器，该数据集规模小且严重不平衡，并应用不同的策略来组合生成图像与真实图像。我们比较了两种用于数据生成的生成对抗网络（GAN）架构：ReACGAN 利用标签信息通过辅助分类器条件化数据生成过程，而 SPADE 利用空间自适应归一化将生成条件化于姿态信息。ReACGAN 能够生成与特定手形标签对齐的逼真图像，而 SPADE 侧重于生成具有准确空间手形配置的图像。我们提出的技术将 RWTH 数据集上的当前最优准确率提高了 5%，解决了小规模和不平衡数据集的局限性。此外，我们的方法展示了通过利用在广泛的 HaGRID 数据集上训练的基于姿态的生成，在不同手语数据集上的泛化能力。我们实现了与单源训练分类器相当的性能，而无需重新训练生成器。
引用
@article{arxiv.2507.17008,
title = {Bringing Balance to Hand Shape Classification: Mitigating Data Imbalance Through Generative Models},
author = {Gaston Gustavo Rios and Pedro Dal Bianco and Franco Ronchetti and Facundo Quiroga and Oscar Stanchi and Santiago Ponte Ahón and Waldo Hasperué},
journal= {arXiv preprint arXiv:2507.17008},
year = {2025}
}
备注
23 pages, 8 figures, to be published in Applied Soft Computing