精准且数据高效的有害预测：当标注员不一致时
计算与语言
2024-10-17 v1
摘要
当标注员不一致时，对单个标注员给出的标签进行预测可以捕捉到传统标签聚合忽略的细微差别。我们引入三种方法来预测文本有害程度的单个标注员评分：神经协同过滤 (NCF) 方法、情境学习 (ICL) 方法以及中间嵌入架构。我们还研究了人口统计学信息对评分预测的实用性。NCF 表现有限；然而，整合标注员历史记录、人口统计学信息和调查信息后，嵌入式架构和 ICL 都能显著提升预测准确性，其中嵌入式架构优于其他方法。我们还发现，如果从调查信息预测人口统计学信息，则将这些推断后的人口统计学信息作为特征使用，与使用真实人口统计学数据性能相当。这表明人口统计学信息可能不提供额外的建模信息，超出调查响应中已捕获的内容。我们的发现对不同类型标注员信息的相对实用性提出了考虑，并为在主观 NLP 任务中建模标注员提供了新方法。
引用
@article{arxiv.2410.12217,
title = {Accurate and Data-Efficient Toxicity Prediction when Annotators Disagree},
author = {Harbani Jaggi and Kashyap Murali and Eve Fleisig and Erdem Bıyık},
journal= {arXiv preprint arXiv:2410.12217},
year = {2024}
}