基于 BERT 的通用文本表示:一项实证研究
计算与语言
2019-10-25 v2 机器学习
摘要
我们对用于通用文本表示的逐层 BERT 激活进行了系统性研究,以理解它们捕获了哪些语言信息以及它们在不同的任务间具有怎样的可迁移性。句子级嵌入在 SentEval 的下游任务和探测任务上与两个最先进的模型进行了评估,而段落级嵌入则在四个问答(QA)数据集上以学习排序问题设定进行了评估。预训练 BERT 模型的嵌入在语义相似度和句子表层信息探测任务上表现不佳。在自然语言推理数据上微调 BERT 可大幅提升嵌入质量。结合来自不同 BERT 层的嵌入可进一步提升性能。在段落级上,BERT 嵌入在事实型 QA 数据集上显著优于 BM25 基线,但在非事实型数据集上未能优于 BM25。对于所有 QA 数据集,基于嵌入的方法与领域内微调的 BERT 之间存在差距(我们报告了两个数据集上的新 SOTA 结果),这表明问题-答案对之间的深度交互对于这些困难任务至关重要。
引用
@article{arxiv.1910.07973,
title = {Universal Text Representation from BERT: An Empirical Study},
author = {Xiaofei Ma and Zhiguo Wang and Patrick Ng and Ramesh Nallapati and Bing Xiang},
journal= {arXiv preprint arXiv:1910.07973},
year = {2019}
}