少量维度足矣：通过微调 BERT 选取特定维度揭示其冗余性
计算与语言
2025-04-08 v1
摘要
在针对特定任务微调 BERT 模型时，通常的做法是选取最终层输出的部分并将其输入到新创建的全连接层中。然而，目前尚不清楚应选取最终层的哪一部分，以及该层的各个维度包含何种信息。在本研究中，我们通过在 GLUE 任务上微调 BERT，全面考察了 token 向量、层和维度的有效性与冗余性。结果表明，最终层中除 CLS 向量以外的输出包含等效信息，大多数任务仅需 2-3 个维度，并且虽然较低层的贡献有所下降，但较高层之间几乎没有差异。我们还评估了冻结预训练层的影响，并进行了交叉微调（即按顺序对不同任务进行微调）。研究结果表明，隐藏层在微调过程中可能会发生显著变化，BERT 具有相当大的冗余性，使其能够同时处理多个任务，且其维度数量可能过多。
引用
@article{arxiv.2504.04966,
title = {Few Dimensions are Enough: Fine-tuning BERT with Selected Dimensions Revealed Its Redundant Nature},
author = {Shion Fukuhata and Yoshinobu Kano},
journal= {arXiv preprint arXiv:2504.04966},
year = {2025}
}
备注
11 pages, 2 figures