智椿路团队在 Amazon KDD Cup 2022: 面向电商商品搜索的多任务预训练
计算与语言
2023-02-01 v1
摘要
在本文中，我们提出了一个鲁棒的多语言模型以提升搜索结果的质量。我们的模型不仅利用了经过处理的类别平衡数据集，还受益于多任务预训练，从而获得更具通用性的表示。在预训练阶段，我们采用 mlm 任务、分类任务和对比学习任务以取得相当的性能。在微调阶段，我们使用置信学习、指数移动平均方法（EMA）、对抗训练（FGM）和正则化 dropout 策略（R-Drop）来提升模型的泛化能力与鲁棒性。此外，我们使用多粒度语义单元来挖掘查询与商品的文本元数据，以增强模型的表示。我们的方法取得了具有竞争力的结果，并在三个任务中排名前八。我们发布了与该工作相关的源代码与预训练模型。
引用
@article{arxiv.2301.13455,
title = {ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search},
author = {Xuange Cui and Wei Xiong and Songlin Wang},
journal= {arXiv preprint arXiv:2301.13455},
year = {2023}
}
备注
KDD Cup Workshop @ KDD 2022