上下文 BERT：利用全局状态对语言模型进行条件化
计算与语言
2020-10-30 v1
摘要
BERT 是一种流行的语言模型，其主要预训练任务是填空，即基于句中其余词预测被掩码掉的单词。然而，在某些应用中，额外的上下文可帮助模型做出正确预测，例如考虑写作的领域或时间。这促使我们改进 BERT 架构，通过添加全局状态以对固定大小的上下文进行条件化。我们提出了两种新颖方法，并将其应用于一个工业用例，在该用例中我们针对特定客户补全缺失服饰的单品搭配。与文献中其他方法的实验对比表明，我们的方法显著提升了个性化效果。
引用
@article{arxiv.2010.15778,
title = {Contextual BERT: Conditioning the Language Model Using a Global State},
author = {Timo I. Denk and Ana Peleteiro Ramallo},
journal= {arXiv preprint arXiv:2010.15778},
year = {2020}
}
备注
Accepted at the TextGraphs-14 workshop at COLING'2020 - The 28th International Conference on Computational Linguistics