拥抱多样性:基于软标签的多视角方法
计算与语言
2025-03-04 v1 人工智能
人机交互
摘要
先前研究表明,采用由不同背景和生活经历塑造的注释多样性,并将其纳入模型学习中,即多视角方法,有助于开发更负责任的模型。因此,本文提出了一种用于设计和进一步评估立场检测任务中基于视角的模型的新框架,其中多个注释者根据争议性话题分配立场。我们还分享了一个通过获取人类和大语言模型注释而建立的新数据集。结果表明,多视角方法yielded更好的分类性能(更高的F1分数),超过了使用单一真实标签的传统方法,同时显示更低的模型置信度得分,这可能是由于立场检测任务的高度主观性。
引用
@article{arxiv.2503.00489,
title = {Embracing Diversity: A Multi-Perspective Approach with Soft Labels},
author = {Benedetta Muscato and Praveen Bushipaka and Gizem Gezici and Lucia Passaro and Fosca Giannotti and Tommaso Cucinotta},
journal= {arXiv preprint arXiv:2503.00489},
year = {2025}
}