通过众包软目标标签训练情感计算机视觉模型
计算机视觉与模式识别
2021-09-24 v2 人机交互
摘要
情绪分类器传统上预测离散情绪。然而，情绪表达往往是主观的，因此需要一种方法来处理主观标签。我们探索使用众包来获取可靠的软目标标签，并评估使用这些标签训练的情绪检测分类器。我们的研究以儿童情感面部表情（CAFE）数据集为中心，该数据集是描绘儿科面部表情图像的黄金标准集合，每幅图像附有100个人工标签。为测试通过众包生成这些标签的可行性，我们使用Microworkers为207幅CAFE图像获取标签。我们评估了未筛选的众包工作者以及通过简短众包筛选流程选定的工作者。然后，我们使用数据集提供的原始100个标注，在软目标CAFE标签上训练两个版本的分类器：（1）使用传统one-hot编码标签训练的分类器，以及（2）使用代表CAFE标注者响应分布的向量标签训练的分类器。我们通过分类器输出概率分布与人类标签分布之间L1距离的2样本独立t检验，比较了两个分类器生成的softmax输出分布。虽然未筛选众包工作者与CAFE的一致性较弱，但筛选后的众包工作者对许多情绪在100%的情况下与CAFE标签一致。虽然one-hot编码分类器相对于CAFE真值标签的F1分数更高（94.33%对78.68%），但众包训练分类器的输出概率向量更接近人类标签的分布（t=3.2827，p=0.0014）。报告考虑人类解释主观性的情绪概率分布。众包，包括充分的筛选机制，是获取软目标标签的可行方案。
引用
@article{arxiv.2101.03477,
title = {Training Affective Computer Vision Models by Crowdsourcing Soft-Target Labels},
author = {Peter Washington and Onur Cezmi Mutlu and Emilie Leblanc and Aaron Kline and Cathy Hou and Brianna Chrisman and Nate Stockham and Kelley Paskov and Catalin Voss and Nick Haber and Dennis Wall},
journal= {arXiv preprint arXiv:2101.03477},
year = {2021}
}