DSGPT:用于电商标题与评论摘要文本生成的Transformer领域特定生成式预训练
计算与语言
2021-12-17 v1 人工智能
摘要
我们提出一种新颖的领域特定生成式预训练(DS-GPT)方法用于文本生成,并将其应用于电商移动展示中的商品标题与评论摘要问题。首先,我们采用仅解码器的Transformer架构,该架构通过将输入和输出全部组合在一起来良好适配微调任务。其次,我们证明仅在相关领域中使用少量预训练数据即具有强大效力。从如维基百科或CommonCrawl的通用语料预训练语言模型需要巨大的时间和资源投入,且若下游任务种类有限则可能造成浪费。我们的DSGPT在有限数据集——中文短文本摘要数据集(LCSTS)上预训练。第三,我们的模型不需要商品相关的人工标注数据。对于标题摘要任务,当前最优方法在训练和预测阶段显式使用额外背景知识。相比之下,我们的模型隐式捕获该知识,并在公开Taobao.com数据集上微调后取得比其他方法显著的改进。对于评论摘要任务,我们利用JD.com内部数据集,并观察到相对于缺乏微调灵活性的标准机器翻译方法类似的改进。我们提出的工作可简单扩展到其他领域以用于广泛的文本生成任务。
引用
@article{arxiv.2112.08414,
title = {DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization},
author = {Xueying Zhang and Yunjiang Jiang and Yue Shang and Zhaomeng Cheng and Chi Zhang and Xiaochuan Fan and Yun Xiao and Bo Long},
journal= {arXiv preprint arXiv:2112.08414},
year = {2021}
}