E-BERT：一种融合短语与商品知识的电商增强语言模型
计算与语言
2021-12-20 v3 人工智能
机器学习
摘要
诸如 BERT 之类的预训练语言模型在广泛的自然语言处理任务中取得了巨大成功。然而，由于缺少短语级和商品级这两层领域知识，BERT 无法很好地支持电商相关任务。一方面，许多电商任务要求对领域短语的准确理解，而此类细粒度短语级知识并未被 BERT 的训练目标显式建模。另一方面，诸如商品关联之类的商品级知识可以增强电商的语言建模，但它们并非事实性知识，因此不加区分地使用可能引入噪声。为解决该问题，我们提出了一种统一的预训练框架，即 E-BERT。具体而言，为保留短语级知识，我们引入自适应混合掩码（Adaptive Hybrid Masking），使模型能够基于两种模式的拟合进度，自适应地从学习初步词知识切换到学习复杂短语。为利用商品级知识，我们引入邻域商品重建（Neighbor Product Reconstruction），训练 E-BERT 通过去噪交叉注意力层预测某商品的关联邻居。我们的研究在四项下游任务中展现出有前景的结果，即基于评论的问答、方面抽取、方面情感分类和商品分类。
引用
@article{arxiv.2009.02835,
title = {E-BERT: A Phrase and Product Knowledge Enhanced Language Model for E-commerce},
author = {Denghui Zhang and Zixuan Yuan and Yanchi Liu and Fuzhen Zhuang and Haifeng Chen and Hui Xiong},
journal= {arXiv preprint arXiv:2009.02835},
year = {2021}
}