图增强 BERT 用于查询理解
信息检索
2023-11-20 v2 人工智能
摘要
查询理解在挖掘用户搜索意图并帮助用户定位其最期望的信息方面起着关键作用。然而这 inherently 具有挑战性，因为它需要从简短且模糊的查询中捕获语义信息，且常需要海量任务特定标注数据。近年来，预训练语言模型（PLMs）因能从大规模语料中提取通用语义信息而推进了各类自然语言处理任务。因此，采用 PLMs 进行查询理解存在前所未有的机遇。然而，查询理解的目标与现有预训练策略之间存在鸿沟——查询理解的目标是提升搜索性能，而现有策略很少考虑该目标。因此直接将其应用于查询理解是次优的。另一方面，搜索日志包含查询与 url 之间的用户点击，提供了超越查询内容本身的丰富用户搜索行为信息。因此，本文旨在利用搜索日志填补这一鸿沟。具体而言，为将搜索日志融入预训练，我们首先构建查询图，其中节点为查询，若两查询导致对同一 url 的点击则相连。随后我们提出一种新颖的图增强预训练框架 GE-BERT，其可同时利用查询内容与查询图。换言之，GE-BERT 能捕获查询的语义信息与用户搜索行为信息。在各种查询理解任务上的大量实验证明了所提框架的有效性。
引用
@article{arxiv.2204.06522,
title = {Graph Enhanced BERT for Query Understanding},
author = {Juanhui Li and Yao Ma and Wei Zeng and Suqi Cheng and Jiliang Tang and Shuaiqiang Wang and Dawei Yin},
journal= {arXiv preprint arXiv:2204.06522},
year = {2023}
}