用有监督对比预训练的Transformer理解社交媒体中的写作风格
计算与语言
2023-10-18 v1 社会与信息网络
摘要
在线社交网络是有害行为的滋生地，从仇恨言论到虚假信息传播皆然。恶意行为者如今拥有前所未有的自由来不当行事，导致严重的社会动荡与可怕后果，如美国总统大选期间的国会山袭击和COVID-19大流行期间的反疫苗运动所示。理解在线语言比以往任何时候都更为迫切。尽管现有工作主要关注内容分析，我们旨在将焦点转向通过把内容与各自作者相关联来理解有害行为。众多新方法试图学习文本中作者的风格特征，但许多受限于小数据集或次优训练损失。为克服这些局限，我们引入用于作者表征的风格Transformer（Style Transformer for Authorship Representations, STAR），其在源自公共资源、包含70k异质作者、4.5×10^6篇署名文本的大型语料库上训练。我们的模型利用有监督对比损失（Supervised Contrastive Loss）教导模型缩小同一人撰写文本间的距离。这一作者 pretext 预训练任务在PAN作者归属与聚类挑战上取得了具竞争力的零样本性能。此外，我们使用单一稠密层在PAN验证挑战上获得了可喜结果，我们的模型作为嵌入编码器。最后，我们给出在Reddit测试划分上的结果。使用8篇512词元的支持基，我们能从多达1616名作者的集合中辨别作者，准确率至少80%。我们在huggingface（https://huggingface.co/AIDA-UPM/star）分享预训练模型，代码见（https://github.com/jahuerta92/star）。
引用
@article{arxiv.2310.11081,
title = {Understanding writing style in social media with a supervised contrastively pre-trained transformer},
author = {Javier Huertas-Tato and Alejandro Martin and David Camacho},
journal= {arXiv preprint arXiv:2310.11081},
year = {2023}
}