观察者范式转变：捕获人类标签的假设与挑战

机器学习中长期存在的数据标注实践涉及收集和聚合来自多个标注者的标签。但当标注者不一致时，我们该怎么办？尽管标注者不一致长期被视为需要最小化的问题，但新的观察者范式方法通过将不一致视为有价值的信息来源来挑战这一假设。在本位置论文中，我们审查了导致不一致的实践和假设——其中一些被观察者范式方法所挑战，一些则仍需进一步探讨——以及在这些假设下面临的实际和规范性挑战。我们以建议数据标注管道以及参与主观性和不一致性的未来研究方向结束。