基于 BERT 神经元选择的无监督迁移学习
机器学习
2019-12-12 v1 计算与语言
机器学习
摘要
近年来，以 BERT 为代表的语言表示模型取得了重大进展，推动了众多自然语言处理任务的快速提升。然而，语言模型通常包含数亿可训练参数，其嵌入空间分布在多个层中，因此难以针对特定任务进行微调或迁移到新领域。为确定是否存在可用于无监督迁移学习的任务特定神经元，我们提出了一种选择最重要神经元以解决特定分类任务的方法。该算法进一步扩展到多源迁移学习，通过计算不同数据源子集之间若干单源迁移学习场景中神经元的重要性来实现。此外，基于各层中所选神经元的占比，获得了每个数据源的任务特定指纹。我们在情感分析、自然语言推理和句子相似性的无监督迁移学习中进行了大量实验，并将结果与现有文献和基线进行比较。值得注意的是，我们发现任务特定指纹之间相似度越高的源与目标数据源表现出更好的可迁移性。我们得出结论：仅使用数百个任务特定且可解释的神经元，我们的方法即可取得更优性能。
引用
@article{arxiv.1912.05308,
title = {Unsupervised Transfer Learning via BERT Neuron Selection},
author = {Mehrdad Valipour and En-Shiun Annie Lee and Jaime R. Jamacaro and Carolina Bessega},
journal= {arXiv preprint arXiv:1912.05308},
year = {2019}
}