众包单标签情感分析中端到端标注者偏差近似
计算与语言
2023-07-26 v2 人机交互
机器学习
摘要
情感分析常是一项众包任务，易受到众多标注者给出的主观标签影响。目前尚不充分理解如何以最先进方法正确建模每位标注者的标注偏差。然而，精确且可靠地消解标注者偏差是理解标注者标注行为、并成功解决其在标注任务中相应个体误解与不当之处的关键。我们的贡献是对精确的神经端到端偏差建模与真值估计的解释与改进，减少了现有最先进方法在此方面的不期望失配。分类实验表明，在每样本仅由单一标注者标注的情况下，其有潜力提升准确率。我们公开全部源代码，并发布一个自有领域特定情感数据集，包含 10,000 条讨论有机食品的句子。这些句子爬取自社交媒体，并由 10 名非专家标注者单独标注。
引用
@article{arxiv.2111.02326,
title = {End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis},
author = {Gerhard Johann Hagerer and David Szabo and Andreas Koch and Maria Luisa Ripoll Dominguez and Christian Widmer and Maximilian Wich and Hannah Danner and Georg Groh},
journal= {arXiv preprint arXiv:2111.02326},
year = {2023}
}
备注
10 pages, 2 figures, 2 tables, full conference paper, peer-reviewed