iLab 在 SemEval-2023 任务 11 Le-Wi-Di 上的工作：建模分歧还是建模视角？
计算与语言
2023-05-11 v1 机器学习
摘要
对标注者分歧建模有两种相互竞争的方法：分布软标签方法（旨在捕捉分歧程度）或对单个标注者或其群体的视角进行建模。我们调整了一个多任务架构——该架构此前在建模视角方面表现出成功——以评估其在 SEMEVAL 任务 11 上的性能。我们通过结合两种方法来实现，即把预测单个标注者视角作为预测标注者分歧的过渡步骤。尽管此前取得成功，我们发现多任务方法在包含明显不同标注者意见的数据集上表现不佳，表明该方法在建模视角时可能并非总是适用。此外，我们的结果说明，尽管强视角主义方法依据分布方法所用评估指标可能未达最先进性能，我们的方法能对数据中存在的个体视角获得更细致的理解。我们认为视角主义方法更可取，因为它们使决策者能够放大少数派观点，并且重新评估指标以反映这一目标十分重要。
引用
@article{arxiv.2305.06074,
title = {iLab at SemEval-2023 Task 11 Le-Wi-Di: Modelling Disagreement or Modelling Perspectives?},
author = {Nikolas Vitsakis and Amit Parekh and Tanvi Dinkar and Gavin Abercrombie and Ioannis Konstas and Verena Rieser},
journal= {arXiv preprint arXiv:2305.06074},
year = {2023}
}
备注
To appear in the Proceedings of the 17th International Workshop on Semantic Evaluation (SemEval-2023). Association for Computational Linguistics, 2023