用于无监督学习的快速准确深度双向语言表示
计算与语言
2020-04-20 v1
摘要
尽管BERT在各种有监督学习任务中取得了成功的性能提升，但将BERT应用于无监督任务仍存在局限，即它需要重复推理以计算上下文语言表示。为解决该局限，我们提出了一种称为基于Transformer的文本自编码器（T-TA）的新型深度双向语言模型。T-TA无需重复即可计算上下文语言表示，并具备如BERT般的深度双向架构优势。在CPU环境下的运行时间实验中，所提T-TA在重排序任务中比基于BERT的模型快六倍以上，在语义相似度任务中快十二倍以上。此外，T-TA在上述任务中展现出与BERT相当甚至更优的准确率。
引用
@article{arxiv.2004.08097,
title = {Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning},
author = {Joongbo Shin and Yoonhyung Lee and Seunghyun Yoon and Kyomin Jung},
journal= {arXiv preprint arXiv:2004.08097},
year = {2020}
}
备注
Accepted at ACL 2020