SocialBERT——用于在线社交网络语言建模的 Transformer
计算与语言
2021-11-16 v1 人工智能
社会与信息网络
摘要
当代语言理解任务的普遍性使得开发通用且高效、能利用数据源所提供全部知识的模型具有重要意义。在本文中，我们提出 SocialBERT——首个在文本分析中使用关于作者在网络中位置知识的模型。我们探究了用于学习社交网络信息的可行模型，并成功将其注入基线 BERT 模型。评估表明，嵌入该信息保持了良好的泛化能力，且给定作者的概率模型质量提升高达 7.5%。所提模型已在所选社交网络的大多数群组上训练，仍能够处理先前未知的群组。所获得的模型及我们的实验代码均可下载并用于应用任务。
引用
@article{arxiv.2111.07148,
title = {SocialBERT -- Transformers for Online SocialNetwork Language Modelling},
author = {Ilia Karpov and Nick Kartashev},
journal= {arXiv preprint arXiv:2111.07148},
year = {2021}
}