基于标签交互感知的 Transformer 模型用于提取电商查询中的重要 token
机器学习
2025-07-15 v1
摘要
电商搜索引擎的主要任务是检索与用户查询所折射出意图最匹配的库存物品，这一任务由于诸多原因而具有挑战性，包括模糊查询、买家与卖家之间的词汇错位、以及因 token 数量过多或过少导致的查询过度或不足约束。为解决这些挑战，常用查询改写技术，通过删除、替换或扩展 token 来修改用户查询，以桥接查询 token 与用户搜索意图之间的语义鸿沟。早期的查询改写方法大多依赖于来自具有点击或购买行为的特定用户会话中 token 共现频率推导的统计度量。近年来，基于监督深度学习方法，特别是基于 Transformer 的神经语言模型或序列到序列模型，被用于查询改写任务。然而，这些模型未利用查询 token 的语义标签，这在捕捉电商查询的用户意图方面至关重要。本文将查询改写建模为 token 分类任务，通过设计一种依赖感知的基于 Transformer 的语言模型 TagBERT，利用 token 的语义标签以学习更优的查询短语嵌入。在大型真实电商数据集上的实验表明，TagBERT 在重要 token 分类任务上表现优于包括 BERT、eBERT 和序列到序列 Transformer 模型在内的众多竞争模型。
引用
@article{arxiv.2507.10385,
title = {Extracting Important Tokens in E-Commerce Queries with a Tag Interaction-Aware Transformer Model},
author = {Md. Ahsanul Kabir and Mohammad Al Hasan and Aritra Mandal and Liyang Hao and Ishita Khan and Daniel Tunkelang and Zhe Wu},
journal= {arXiv preprint arXiv:2507.10385},
year = {2025}
}