LMSOC：一种对社会敏感的预训练方法
计算与语言
2021-10-22 v1 计算机与社会
信息检索
机器学习
摘要
尽管大规模预训练语言模型已被证明能为许多 NLP 任务学习到有效的语言表示，当前方法仍未能捕捉语言中诸多现实世界的语境层面。例如，考虑完形填空测试“我喜欢本周末的____比赛”：正确答案在很大程度上取决于说话者来自何处、话语发生的时间，以及说话者更广泛的社会环境及偏好。尽管语言严重依赖于说话者的地理、时间及其他社会语境，这些要素尚未被纳入现代基于 transformer 的语言模型中。我们提出一种简单而有效的方法，将说话者社会语境整合进大规模语言模型所学表示中。我们的方法首先利用图表示学习算法学习社会语境的稠密表示，随后以这些社会语境表示引导语言模型预训练。我们在地理敏感的语言建模任务上评估了我们的方法，并展示出相较基线的大幅改进（MRR 上超过 100% 的相对提升）。
引用
@article{arxiv.2110.10319,
title = {LMSOC: An Approach for Socially Sensitive Pretraining},
author = {Vivek Kulkarni and Shubhanshu Mishra and Aria Haghighi},
journal= {arXiv preprint arXiv:2110.10319},
year = {2021}
}
备注
Camera ready version. Accepted to EMNLP 2021 Findings. Code for reproducing the experiments can be found at: https://github.com/twitter-research/lmsoc