当注释者达成一致但标签不一致：偏好检测中的投影问题

偏好检测几乎总是被形式化为将文本分类为Favor、Against或Neutral。这种惯例源自辩论分析，自SemEval-2016起被应用于社交媒体而未作修改。然而，复杂目标的态度并非单一。一个人可以接受气候科学，同时反对碳税，在不同维度上表达支持与反对。当注释者必须将此类多维态度压缩为单个标签时，不同注释者可能赋予不同维度不同的权重，导致标签不一致，这反映的是不同的压缩选择而非混淆。我们称之为投影问题。我们在来自SemEval-2016、P-Stance和COVID-19-Stance的五个目标上进行注释研究，三个相同注释者对所有目标进行注释。每个目标上，注释者同时分配标准偏好标签和沿特定于目标维度的注释。对于所有十五个目标-维度组合，维度一致性始终高于标签一致性。差距随目标复杂度而变化：对于单个实体目标如乔·拜登（AC1: 0.87 vs. 0.95）差距适中，但对于多层面政策目标如学校关闭（AC1: 0.21 vs. 0.71）差距很大。