UPLME：面向鲁棒同情回归的不确定性感知概率语言模型
计算与语言
2025-11-25 v2 机器学习
摘要
噪声自报告同情评分挑战了基于监督学习的同情回归。虽然已提出许多用于文本分类问题中学习带噪标签的算法，但回归问题的研究相对不足。我们提出UPLME（Uncertainty-Aware Probabilistic Language Modeling），一种不确定性感知的概率语言建模框架，用于捕捉同情回归任务中的标签噪声。UPLME的一个新颖之处在于，概率语言模型既预测同情评分，又预测异方差不确定性，并采用贝叶斯方法通过变分模型集成进行训练。我们进一步引入两个新损失组件：一个惩罚退化的不确定性量化（UQ），另一个强制输入对之间的相似性。通过文献中报告的两种公开基准测试的数据，UPLME实现了最先进的性能（Pearson相关系数： 和 ）。通过合成标签噪声注入，我们展示了UPLME在基于预测不确定性区分噪声样本和干净样本方面的有效性。UPLME进一步优于最近一种基于变分模型集成的UQ方法（校准误差：），该方法专为回归问题设计。代码已公开available at https://github.com/hasan-rakibul/UPLME。
引用
@article{arxiv.2508.03520,
title = {UPLME: Uncertainty-Aware Probabilistic Language Modelling for Robust Empathy Regression},
author = {Md Rakibul Hasan and Md Zakir Hossain and Aneesh Krishna and Shafin Rahman and Tom Gedeon},
journal= {arXiv preprint arXiv:2508.03520},
year = {2025}
}
备注
Code available at https://github.com/hasan-rakibul/UPLME