计算机视觉中数据集偏置的评估
计算机视觉与模式识别
2022-05-05 v1 机器学习
摘要
有偏数据集通常是指属性类别分布不均衡的数据集。这类偏置倾向于传播到在其上训练的模型中,常导致少数类的性能不佳。在本项目中,我们探究各种数据增强方法在多大程度上缓解数据集内的固有偏置。我们在 UTKFace 数据集的一个样本上应用若干增强技术,如下采样、几何变换、变分自编码器(VAE)和生成对抗网络(GAN)。随后为每个增强后的数据集训练一个分类器,并在原始测试集与外部人脸识别数据集上评估其性能。我们还将它们的性能与在 FairFace 数据集上训练的最先进属性分类器进行比较。通过实验,我们发现使用 StarGAN 生成的图像训练模型取得了最佳的整体性能。我们还发现,使用几何变换图像训练可取得相近性能且训练时间大幅缩短。此外,性能最佳的模型在各属性内部不同类之间也表现出均匀的性能。这意味着该模型也能缓解在原始训练集上训练的基线模型中所存在的偏置。最后,我们表明与 FairFace 模型相比,我们的模型在多个数据集上的年龄与种族分类中具有更好的整体性能与一致性。我们的最终模型在 UTKFace 测试集上对于性别、年龄和种族属性的准确率分别为 91.75%、91.30% 和 87.20%,且各属性内部各类准确率间的标准差小于 0.1。
引用
@article{arxiv.2205.01811,
title = {Assessing Dataset Bias in Computer Vision},
author = {Athiya Deviyani},
journal= {arXiv preprint arXiv:2205.01811},
year = {2022}
}
备注
51 pages