用于快速编码语言表示的 Transformer 文本自编码器
计算与语言
2021-11-05 v1 人工智能
摘要
近年来，BERT 在自然语言处理任务中展现出明显的优势和巨大潜力。然而，训练和应用 BERT 都需要密集的时间和资源来计算上下文语言表示，这阻碍了其普适性和适用性。为了克服这一瓶颈，我们提出了一种在注意力层使用窗口掩蔽机制的深度双向语言模型。这项工作计算上下文语言表示时没有像 BERT 那样使用随机掩蔽，并保持了类似 BERT 的深度双向架构。为了计算相同的句子表示，我们的方法显示出 O(n) 的复杂度，低于其他具有 O() 复杂度的基于 Transformer 的模型。为了进一步证明其优越性，在 CPU 环境下计算了上下文语言表示，通过使用所提方法的嵌入，逻辑回归在 SMS 分类上显示出高得多的准确率。此外，所提方法在语义相似度任务中也取得了显著更高的性能。
引用
@article{arxiv.2111.02844,
title = {A text autoencoder from transformer for fast encoding language representation},
author = {Tan Huang},
journal= {arXiv preprint arXiv:2111.02844},
year = {2021}
}
备注
8 pages, 8 figures. arXiv admin note: text overlap with arXiv:2004.08097 by other authors