将 LLM 不确定性与主观性分析中的人类不同意见对齐
计算与语言
2026-05-14 v2
摘要
用于主观性分析的大型语言模型通常使用汇总标签进行训练，这种范式将人类判断的变数压缩为单一监督信号，忽略了低一致性样本的内在不确定性，常导致过度自信预测，削弱了在复杂主观情境下的可靠性和泛化能力。在本工作中，我们倡导 uncertainty-aware 主观性分析，即模型应在表达反映人类不同意见的不确定性的同时作出预测。为实现这一视角，我们提出了两种阶段的 Disagreement Perception and Uncertainty Alignment (DPUA) 框架。具体而言，DPUA 在不确定性感知阶段通过自适应解耦学习增强模型对不同意见相关线索的敏感性，同时保持任务性能。在不确定性对齐阶段，基于 GRPO 的奖励优化进一步提高不确定性感知推理，并将模型的置信度表达与人类不同意见分布对齐。在三个主观性分析任务上的实验表明，DPUA 在保持任务性能的同时，更好地将模型不确定性与人类不同意见对齐，减轻了对边界样本的过度自信，并提高了在数据分布外的泛化能力。
引用
@article{arxiv.2605.10415,
title = {Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis},
author = {Junyu Lu and Deyi Ji and Xuanyi Liu and Lanyun Zhu and Bo Xu and Liang Yang and Xian-Sheng Hua and Hongfei Lin},
journal= {arXiv preprint arXiv:2605.10415},
year = {2026}
}