TPDR：一种基于 Transformer 的两步式产品与类别描述匹配及检索新方法
信息检索
2023-10-06 v1 机器学习
软件工程
摘要
有一类利基公司负责为其他公司中介采购大批量多样化产品，其主要挑战在于执行产品描述标准化，即把客户描述的项目与目录中描述的产品进行匹配。该问题很复杂，因为客户的产品描述可能：（1）潜在含噪；（2）简短且信息不足（例如缺失型号和尺寸信息）；（3）跨语言。在本文中，我们将此问题形式化为排序任务：给定初始客户产品规格（查询），返回最合适标准化描述（响应）。本文提出 TPDR，一种基于 Transformer 的两步式产品与类别描述检索方法，能够通过利用注意力机制和对比学习来探索 IS 与 SD 之间的语义对应关系。首先，TPDR 将 Transformer 用作共享嵌入向量空间的两个编码器：一个用于编码 IS，另一个用于编码 SD，其中对应对（IS, SD）必须在向量空间中接近。接近性通过利用专用损失函数的对比学习机制进一步强化。TPDR 还利用基于句法特征的（第二步）重排序，这些特征对于某些可能被 Transformer 忽略的产品的精确匹配（型号、尺寸）非常重要。为评估我们的方案，我们考虑来自一家真实公司的 11 个数据集，覆盖不同应用情境。我们的解决方案能够在 71% 的情况下于第 5 排名位置之前检索到正确的标准化产品，并在 80% 的情况下于第一位置检索到其正确类别。此外，相对于纯句法或纯语义基线的有效性提升高达 3.7 倍，解决了任何孤立方法均无法单独处理的情形。
引用
@article{arxiv.2310.03491,
title = {TPDR: A Novel Two-Step Transformer-based Product and Class Description Match and Retrieval Method},
author = {Washington Cunha and Celso França and Leonardo Rocha and Marcos André Gonçalves},
journal= {arXiv preprint arXiv:2310.03491},
year = {2023}
}
备注
10 pages, 8 figures, 5 tables