MoralBERT：用于捕捉社会讨论中道德价值观的微调语言模型
计算与语言
2024-07-22 v2 计算机与社会
摘要
道德价值观在我们如何评估信息、做出决策以及围绕重要社会问题形成判断方面发挥着根本作用。包括疫苗接种、堕胎、种族主义和性取向在内的争议性话题，常常引发不仅仅基于证据而是反映道德世界观的舆论和态度。自然语言处理（NLP）的最新进展表明，道德价值观可以在人类生成的文本内容中进行衡量。基于道德基础理论（MFT），本文提出了 MoralBERT，一系列经过微调以捕捉社会话语中道德情感的语言表示模型。我们描述了一个在来自 Twitter（现称 X）、Reddit 和 Facebook 的多个异构 MFT 人工标注数据集上进行聚合训练和领域对抗训练的框架，这些数据集在社交媒体受众兴趣、内容呈现与风格以及传播模式方面拓宽了文本内容的多样性。我们表明，所提出的框架在域内推理中取得的平均 F1 分数比基于词典的方法、Word2Vec 嵌入以及使用 GPT-4 等大语言模型的零样本分类高出 11% 至 32%。领域对抗训练比聚合训练产生更好的域外预测性能，同时取得与零样本学习相当的性能。我们的方法有助于实现免标注且有效的道德学习，并为利用 NLP 更全面地理解争议性社会辩论中的道德叙事提供了有用的见解。
引用
@article{arxiv.2403.07678,
title = {MoralBERT: A Fine-Tuned Language Model for Capturing Moral Values in Social Discussions},
author = {Vjosa Preniqi and Iacopo Ghinassi and Julia Ive and Charalampos Saitis and Kyriaki Kalimeri},
journal= {arXiv preprint arXiv:2403.07678},
year = {2024}
}