相同词汇，不同判断：偏好在不同模态间的差异

基于偏好的强化学习(PbRL)是对齐 AI 系统以符合人类偏好最主流的框架。然而，针对此类数据评估协议的设计原则是为文本设计的，尚未对语音进行验证。在本工作中，我们进行了首次基于 ICC 的、受控的跨模态人类与合成偏好标注比较研究，比较文本与音频对相同语义内容在 100 个提示下的评估。我们展示，要在单一模态内实现{\it good}一致性(ICC(2,$k$) $\approx$ .80)，需约 9 位评审员。与此同时，不同模态显示出人们报告偏好的差异显著：音频评审员表现出较窄的决策阈值、较少的序列偏好以及更以用户为导向的评估标准，同时在跨模态间几乎达到随机水平一致性。我们演示合成评分可被有效用于预测评审间一致性，从而作为刺激选择的早期信号以及人类标注的代理。综上，这些发现表明，针对音频偏好数据的评估协议需要针对模态进行特定设计，而不能直接从文本方案中移植。