TextGNN：在赞助搜索中通过图神经网络改进文本编码器
摘要
基于 C-DSSM 或 transformer 的文本编码器已在许多自然语言处理（NLP）任务中展现出强劲性能。近年来也开发了这些模型的低延迟变体，以便将其应用于具有严格计算约束的赞助搜索领域。然而，这些模型并非解决所有自然语言理解（NLU）挑战的万灵药，因为数据中的纯语义信息不足以完全识别用户意图。我们提出了 TextGNN 模型，它自然地将强大的双塔结构编码器与来自用户历史行为的互补图信息相扩展，后者作为自然引导帮助我们更好地理解意图，从而生成更好的语言表示。该模型继承了双塔模型（如 C-DSSM 和 TwinBERT）的所有优势，因此仍可用于低延迟环境，同时在离线和在线生产系统中均比强大的仅编码器基线模型取得显著性能提升。在离线实验中，该模型在 ROC-AUC 上总体提升 0.14%，长尾低频广告准确率提升 1%；在线 A/B 测试中，模型展示每千次展示收入（Revenue Per Mille）提升 2.03%，广告缺陷率下降 2.32%。
引用
@article{arxiv.2101.06323,
title = {TextGNN: Improving Text Encoder via Graph Neural Network in Sponsored Search},
author = {Jason Yue Zhu and Yanling Cui and Yuming Liu and Hao Sun and Xue Li and Markus Pelger and Tianqi Yang and Liangjie Zhang and Ruofei Zhang and Huasha Zhao},
journal= {arXiv preprint arXiv:2101.06323},
year = {2021}
}
备注
Jason Yue Zhu, Yanling Cui, Yuming Liu, Hao Sun, Xue Li, Markus Pelger, Tianqi Yang, Liangjie Zhang, Ruofei Zhang, and Huasha Zhao. 2021. TextGNN: Improving Text Encoder via Graph Neural Network in Sponsored Search. In Proceedings of the Web Conference 2021 (WWW 21), April 19-23, 2021, Ljubljana, Slovenia. ACM, New York, NY, USA, 10 pages. https: //doi.org/10.1145/3442381.3449842