将众包标注者分布融入集成建模以提升古希腊纸草文献分类可信度
计算机视觉与模式识别
2024-02-14 v4 机器学习
摘要
即使在最优神经网络上，对含噪的众包图像数据集进行分类也可能颇具挑战。此类数据集上使问题复杂化的两个问题是类不平衡与标注中的真值不确定性。AL-ALL 与 AL-PUB 数据集——由古希腊纸草文献图像中紧密裁剪的单个字符组成——受这两个问题影响严重。对此类数据集应用集成建模有助于识别真值存疑的图像，并量化这些样本的可信度。因此，我们采用由几乎相同的 ResNet 组成、但具有不同损失函数的堆叠泛化：一个使用稀疏交叉熵（CXE），另一个使用 Kullback-Liebler 散度（KLD）。两个网络均使用源自众包共识的标签。该共识基于数据集中给定字符的所有标注得出的归一化标注分布（NDA）推导。对于第二个网络，KLD 相对于 NDA 计算。对于我们的集成模型，我们对 CXE 与 KLD 网络的输出应用 k 近邻模型。单独来看，ResNet 模型约有 93% 准确率，而集成模型达到 > 95% 准确率，提升了分类可信度。我们还对各模型输出分布的 Shannon 熵进行分析以度量分类不确定性。结果表明熵可用于预测模型误分类。
引用
@article{arxiv.2210.16380,
title = {Incorporating Crowdsourced Annotator Distributions into Ensemble Modeling to Improve Classification Trustworthiness for Ancient Greek Papyri},
author = {Graham West and Matthew I. Swindall and Ben Keener and Timothy Player and Alex C. Williams and James H. Brusuelas and John F. Wallin},
journal= {arXiv preprint arXiv:2210.16380},
year = {2024}
}