POLITICS：基于同主题文章对比的预训练用于意识形态预测与立场检测
计算与语言
2022-05-03 v1
摘要
意识形态是政治科学研究的核心理念。然而，目前仍不存在能够跨不同文本体裁刻画和预测意识形态的通用工具。为此，我们研究利用新颖的意识形态驱动预训练目标的预训练语言模型，这些目标依赖于对由不同意识形态媒体撰写的同一事件文章的对比。我们进一步收集了一个大规模数据集，包含超过 360 万篇政治新闻文章，用于预训练。我们的模型 POLITICS 在意识形态预测和立场检测任务上优于强基线及先前最先进的模型。进一步的分析表明，POLITICS 尤其擅长理解长篇或正式撰写的文本，并且在少样本学习场景下也具有鲁棒性。
引用
@article{arxiv.2205.00619,
title = {POLITICS: Pretraining with Same-story Article Comparison for Ideology Prediction and Stance Detection},
author = {Yujian Liu and Xinliang Frederick Zhang and David Wegsman and Nick Beauchamp and Lu Wang},
journal= {arXiv preprint arXiv:2205.00619},
year = {2022}
}
备注
Findings of NAACL'22. The first two authors contribute equally