HUBERT解构BERT以提升NLP任务间的迁移
计算与语言
2021-04-27 v2 机器学习
机器学习
摘要
我们提出HUBERT，它结合了张量积表示（TPRs）的结构化表示能力与BERT这一预训练双向Transformer语言模型。我们表明，不同NLP数据集之间存在共享结构，而HUBERT能够学习并利用该结构，BERT则不能。我们在GLUE基准和HANS数据集上验证了模型的有效性。实验结果表明，将数据特定的语义与通用语言结构解耦，是实现NLP任务间更好迁移的关键。
引用
@article{arxiv.1910.12647,
title = {HUBERT Untangles BERT to Improve Transfer across NLP Tasks},
author = {Mehrad Moradshahi and Hamid Palangi and Monica S. Lam and Paul Smolensky and Jianfeng Gao},
journal= {arXiv preprint arXiv:1910.12647},
year = {2021}
}