IsoBN：使用各向同性批归一化微调BERT
计算与语言
2021-02-05 v2 机器学习
摘要
微调预训练语言模型（PTLM），如BERT及其更好的变体RoBERTa，已成为提升自然语言理解（NLU）任务性能的常见做法。表征学习的最新进展表明，各向同性（即单位方差且不相关）的嵌入可以显著提高下游任务的性能，具有更快的收敛速度和更好的泛化能力。然而，PTLM中预训练嵌入的各向同性相对未被充分探索。在本文中，我们通过直观的可视化分析了PTLM预训练[CLS]嵌入的各向同性，并指出了两个主要问题：其标准差的高方差，以及不同维度之间的高相关性。我们还提出了一种新的网络正则化方法，各向同性批归一化（IsoBN），以解决这些问题，通过在微调过程中动态惩罚主导主成分，来学习更各向同性的表征。这种简单而有效的微调方法在七个NLU任务的平均值上带来了约1.0的绝对提升。
引用
@article{arxiv.2005.02178,
title = {IsoBN: Fine-Tuning BERT with Isotropic Batch Normalization},
author = {Wenxuan Zhou and Bill Yuchen Lin and Xiang Ren},
journal= {arXiv preprint arXiv:2005.02178},
year = {2021}
}
备注
AAAI 2021