用于社交事件检测的关系提示预训练语言模型
计算与语言
2024-09-11 v2 人工智能
机器学习
社会与信息网络
摘要
社交事件检测（SED）旨在从社交流中识别重大事件，具有从舆论分析到风险管理等广泛应用。近年来，基于图神经网络（GNN）的解决方案取得了最先进的性能。然而，基于 GNN 的方法经常在消息之间遇到缺失和噪声边的问题，影响了所学消息嵌入的质量。此外，这些方法在训练前静态初始化节点嵌入，这反过来限制了同时从消息文本和关系中学习的能力。在本文中，我们基于预训练语言模型（PLM）从新视角探讨社交事件检测，并提出 RPLM_SED（用于社交事件检测的关系提示预训练语言模型）。我们首先提出了一种新的成对消息建模策略，将社交消息构建为具有多关系序列的消息对。其次，提出了一种新的基于多关系提示的成对消息学习机制，使用 PLM 从具有多关系提示的消息对中学习更全面的消息表示。第三，我们设计了一种新的聚类约束，通过增强簇内紧凑性和簇间离散度来优化编码过程，使消息表示更具区分度。我们在三个真实世界数据集上评估了 RPLM_SED，证明 RPLM_SED 模型在社交事件检测任务的离线、在线、低资源和长尾分布场景中均取得了最先进的性能。
引用
@article{arxiv.2404.08263,
title = {Relational Prompt-based Pre-trained Language Models for Social Event Detection},
author = {Pu Li and Xiaoyan Yu and Hao Peng and Yantuan Xian and Linqin Wang and Li Sun and Jingyun Zhang and Philip S. Yu},
journal= {arXiv preprint arXiv:2404.08263},
year = {2024}
}
备注
ACM TOIS