通过分面 Rasch 测量与多任务深度学习构建区间变量：一项仇恨言论应用
计算与语言
2020-09-23 v1 机器学习
社会与信息网络
摘要
我们提出一种通用方法，通过将监督深度学习与面向分面 Rasch 项目反应理论（IRT）的建构测量（Constructing Measures）方法相结合，在连续区间谱上测量复杂变量。我们将目标构念（本例中为仇恨言论）分解为多个被标注为有序调查条目的组成成分。这些调查响应通过 IRT 转换为去偏的连续结果测度。我们的方法估计人类标注者的调查解释偏差，并消除其对所生成连续测度的影响。我们进一步使用分面 IRT 估计每位标注者的响应质量，从而可移除低质量标注者的响应。我们的分面 Rasch 标度流程与用于新数据自动预测的多任务深度学习架构自然集成。目标结果的理论成分评分被用作神经网络内部概念学习的监督有序变量。我们测试了旨在利用有序结果变量结构的激活函数（有序 softmax）和损失函数（有序交叉熵）的使用。我们的多任务架构带来了一种新形式的模型解释，因为每个连续预测都可由倒数第二层的组成成分直接解释。我们在一个包含来自 YouTube、Twitter 和 Reddit 的 50,000 条社交媒体评论、并由 11,000 名基于美国的 Amazon Mechanical Turk 工人标注的数据集上演示了这一新方法，以测量从仇恨言论到反言论的连续谱。我们评估了 Universal Sentence Encoders、BERT 和 RoBERTa 作为评论文本的语言表示模型，并将我们的预测精度与 Google Jigsaw 的 Perspective API 模型进行比较，显示出相对于这一标准基准的显著提升。
引用
@article{arxiv.2009.10277,
title = {Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application},
author = {Chris J. Kennedy and Geoff Bacon and Alexander Sahn and Claudia von Vacano},
journal= {arXiv preprint arXiv:2009.10277},
year = {2020}
}
备注
35 pages, 10 figures