对话式杂货购物中低资源标题压缩的判别性预训练
计算与语言
2020-12-15 v1 人工智能
摘要
智能语音助手的普及使对话式购物成为常态，在杂货等低参与度品类尤为如此。对话式杂货购物的一个核心问题是自动生成可在对话中快速读出的短商品标题。文献中已有若干监督模型利用人工标注数据集与额外商品特征自动生成短标题。然而，获取大量标注数据成本高昂，且多数杂货商品页并不如其他品类特征丰富。为解决此问题，我们提出一种基于预训练的解决方案，利用无标注数据学习上下文商品表示，随后可微调以在低资源设定下获得更优标题压缩。我们将具有时间分布 softmax 层的自注意力 BiLSTM 编码器网络用于标题压缩任务。我们通过结合预训练词嵌入与可训练字符级卷积的混合嵌入层克服了词汇不匹配问题。我们在大量无标注杂货商品标题上以替换词元检测任务作为判别器预训练该网络。最后，我们在不做任何修改的情况下用小型标注数据集为该标题压缩任务微调该网络。在 Walmart 在线杂货目录上的实验表明，我们的模型取得了可与 BERT 与 XLNet 等 SOTA 模型相媲美的性能。当在所有可用训练数据上微调时，我们的模型达到 0.8558 的 F1 分数，仅落后最佳模型 BERT-Base 2.78%、落后 XLNet 0.28%，而参数量仅为两者的 1/55。此外，当仅允许在 5% 训练数据上微调时，我们的模型在 F1 分数上超越 BERT-Base 24.3%。
引用
@article{arxiv.2012.06943,
title = {Discriminative Pre-training for Low Resource Title Compression in Conversational Grocery},
author = {Snehasish Mukherjee and Phaniram Sayapaneni and Shankar Subramanya},
journal= {arXiv preprint arXiv:2012.06943},
year = {2020}
}
备注
To be published in Proceedings of ACM SIGIR Workshop on eCommerce (SIGIR eCom 20) 2020