AffectNet 中的标签质量：基于众包重新标注的结果
计算机视觉与模式识别
2021-10-12 v1
摘要
AffectNet 是相对无约束自然场景图像上面部表情识别（FER）最受欢迎的资源之一。然而，鉴于图像仅由一名标注者标注且对数据的一致性检查有限，标签质量与一致性可能受限。此处，我们采用与一项重新标注另一个较小数据集（FER2013）的众包标注研究类似的方法，报告了对 AffectNet 中困难人脸子集的重新标注与重新注释结果：13 人对表情标签以及效价与唤醒度评分进行标注。我们的结果显示，人工标签总体具有中等至良好的一致性，而人工评分尤其在效价上高度一致。然而重要的是，众包标签显著地向中性与高兴类别偏移，且众包情感评分形成了不同于原始评分的一致模式。在原始 AffectNet 数据集上充分训练的 ResNet 不能预测人类投票模式，但在弱训练时则能好得多地预测，尤其是对效价。我们的结果对情感计算中的标签质量具有重要影响。
引用
@article{arxiv.2110.04476,
title = {Label quality in AffectNet: results of crowd-based re-annotation},
author = {Doo Yon Kim and Christian Wallraven},
journal= {arXiv preprint arXiv:2110.04476},
year = {2021}
}