Socialformer：受社交网络启发的用于文档排序的长文档建模方法
信息检索
2022-02-23 v1
摘要
利用预训练语言模型在神经文档排序中取得了巨大成功。受计算和内存需求限制，长文档建模成为一个关键问题。近期工作提出通过设计稀疏注意力模式来修改 Transformer 中的全注意力矩阵。然而，其中大多数仅关注固定大小窗口内词项的局部连接。如何构建词项之间合适的远程连接以更好地建模文档表示仍未被充分探索。本文提出 Socialformer 模型，将社交网络的特征引入到文档排序中长文档建模的稀疏注意力模式设计中。具体而言，我们考虑若干注意力模式以构建类似社交网络的图。凭借社交网络的特征，此类图中大多数节点对可在保证稀疏性的同时通过短路径连通。为促进高效计算，我们将图分割为多个子图以模拟社交场景中的朋友圈。实验结果证实了我们的模型在长文档建模上的有效性。
引用
@article{arxiv.2202.10870,
title = {Socialformer: Social Network Inspired Long Document Modeling for Document Ranking},
author = {Yujia Zhou and Zhicheng Dou and Huaying Yuan and Zhengyi Ma},
journal= {arXiv preprint arXiv:2202.10870},
year = {2022}
}