用于电商产品问答的远程监督 Transformer
机器学习
2021-04-08 v1
摘要
我们提出了一种实用的电商服务产品页面即时问答（QA）系统，其中针对每个用户查询，检索相关的社区问答（CQA）对。用户查询与 CQA 对在语言特征上差异显著，使得相关性学习困难。我们提出的基于 transformer 的模型通过联合学习统一的句法与语义表示来学习鲁棒的相关性函数，且无需人工标注数据。这是通过对我们的模型进行远程监督实现的：从对用户查询的句法匹配系统的预测中蒸馏，同时用 CQA 对训练。用 CQA 对训练有助于我们的模型学习语义 QA 相关性，而远程监督使得句法特征以及用户查询语言的细微差别得以学习。此外，我们的模型独立编码查询与候选回复，允许离线候选嵌入生成，从而最小化对实时 transformer 模型执行的需求。因此，我们的框架能够扩展到大型电商 QA 流量。在用户查询上的广泛评估表明，我们的框架在离线以及某流行电商服务的大规模在线 A/B 设置中均显著优于句法与语义基线。
引用
@article{arxiv.2104.02947,
title = {Distantly Supervised Transformers For E-Commerce Product QA},
author = {Happy Mittal and Aniket Chakrabarti and Belhassen Bayar and Animesh Anant Sharma and Nikhil Rasiwasia},
journal= {arXiv preprint arXiv:2104.02947},
year = {2021}
}
备注
NAACL 2021 (10 pages)