它感觉有多准？——人类对不同类型分类错误的感知
人机交互
2023-02-14 v1
摘要
监督式机器学习利用大型数据集，其真实标签常由人类标注。虽然某些数据点易于分类，另一些则难以分类，这降低了标注者间一致性。这为分类器带来噪声，并可能影响用户对该分类器性能的感知。在我们的研究中，考察了数据点的分类难度是否影响预测错误在多大程度上降低“感知准确率”。在一项实验性在线研究中，225 名参与者与三个虚构分类器交互，其准确率均为 73%。这些分类器在三类不同数据点（简单、困难、不可能）上产生预测错误。交互后，参与者评判分类器的准确率。我们发现并非所有预测错误同等降低感知准确率。此外，感知准确率与计算准确率显著不同。综上，准确率及相关度量似乎不足以表征用户如何感知分类器的性能。
引用
@article{arxiv.2302.06413,
title = {How Accurate Does It Feel? -- Human Perception of Different Types of Classification Mistakes},
author = {Andrea Papenmeier and Dagmar Kern and Daniel Hienert and Yvonne Kammerer and Christin Seifert},
journal= {arXiv preprint arXiv:2302.06413},
year = {2023}
}
备注
In CHI '22: Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems