URL-BERT：基于社交媒体互动的网页表示训练
计算与语言
2023-10-26 v1 信息检索
摘要
理解与表示网页对于用户可能分享并互动于 URL 的在线社交网络至关重要。诸如 BERT 的常用语言模型（LM）编码器可用于理解与表示网页的文本内容。然而，这些表示可能无法建模万维网域与 URL 的主题信息，或准确捕捉其对社交媒体用户的吸引力。本工作中，我们引入了一种可用于调整 LM 以理解 URL 与网页的新预训练目标。我们提出的框架包含两步：（1）可扩展图嵌入，基于社交媒体上的用户互动学习 URL 的浅层表示；（2）对比目标，将 LM 表示与上述基于图的表示对齐。我们将该框架应用于 BERT 的多语言版本以获得模型 URL-BERT。我们通过实验证明，我们的继续预训练方法在多种任务及 Twitter 内部与外部基准上提升了网页理解能力。
引用
@article{arxiv.2310.16303,
title = {URL-BERT: Training Webpage Representations via Social Media Engagements},
author = {Ayesha Qamar and Chetan Verma and Ahmed El-Kishky and Sumit Binnani and Sneha Mehta and Taylor Berg-Kirkpatrick},
journal= {arXiv preprint arXiv:2310.16303},
year = {2023}
}