通过语用掩码与代理微调改进社交意义检测
计算与语言
2022-06-02 v4 人工智能
摘要
掩码语言模型（MLM）以去噪目标进行预训练，该目标与下游微调目标不匹配。我们提出语用掩码和代理微调作为两种互补策略，利用社交线索将预训练表示推向对广泛社交意义任务有用的一系列概念。我们在 15 个不同的 Twitter 数据集上测试了我们的模型以进行社交意义检测。我们的方法在竞争性基线上实现了 2.34% 的 F_1 提升，同时优于在大型数据集上预训练的领域特定语言模型。我们的方法在少样本学习中也表现出色：仅使用 5% 的训练数据（极度少样本），我们的方法实现了令人印象深刻的 68.54% 平均 F_1。这些方法也具有语言无关性，正如我们在涉及来自三种不同语言的六个数据集的零样本设置中所展示的。
引用
@article{arxiv.2108.00356,
title = {Improving Social Meaning Detection with Pragmatic Masking and Surrogate Fine-Tuning},
author = {Chiyu Zhang and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2108.00356},
year = {2022}
}
备注
12th Workshop on Computational Approaches to Subjectivity, Sentiment & Social Media Analysis at ACL 2022 (corrected typos)