MeLT：以掩码文档表示为预训练的消息级 Transformer 用于立场检测
计算与语言
2021-11-03 v2
摘要
自然语言处理大量集中于利用大容量语言模型，通常基于单条消息训练，任务为预测一个或多个词元。然而，在更高层级语境（即消息序列）上对人类语言建模尚待充分探索。在立场检测及其他以预测消息属性为目标的社会媒体任务中，我们拥有由作者身份松散语义关联的语境数据。在此，我们引入消息级 Transformer (MeLT)——一种在 Twitter 上预训练的分层消息编码器，并应用于立场预测任务。我们关注立场预测这一受益于知晓消息语境（即先前消息序列）的任务。该模型使用掩码语言建模的变体进行训练；不同于预测词元，它通过重构损失来生成整个被掩码（聚合）的消息向量。我们发现，将此预训练的消息级掩码 Transformer 应用于下游立场检测任务取得了 67% 的 F1 性能。
引用
@article{arxiv.2109.08113,
title = {MeLT: Message-Level Transformer with Masked Document Representations as Pre-Training for Stance Detection},
author = {Matthew Matero and Nikita Soni and Niranjan Balasubramanian and H. Andrew Schwartz},
journal= {arXiv preprint arXiv:2109.08113},
year = {2021}
}