BERT的愈合作用：任务特定微调如何恢复被破坏的语言模型
计算与语言
2025-07-09 v2
摘要
像BERT这样的语言模型因在通用数据上的广泛预训练而在句子分类任务中表现出色，但其对参数腐化的鲁棒性却鲜为人知。为更好地理解这一现象，我们考察当语言模型中的部分参数被『破坏』后通过微调恢复其性能时的情形。通过在不同层级对BERT变体进行策略性腐化，我们发现被腐化的模型难以完全恢复其原始性能，腐化程度越高导致性能衰减越严重。值得注意的是，影响基础语言特征的底层腐化比顶层腐化更为有害。我们的发现为理解语言模型在恶劣条件下的鲁棒性与适应性提供了洞见，为开发抗参数扰动的韧性NLP系统指明了方向。
引用
@article{arxiv.2406.14459,
title = {Healing Powers of BERT: How Task-Specific Fine-Tuning Recovers Corrupted Language Models},
author = {Shijie Han and Zhenyu Zhang and Andrei Arsene Simion},
journal= {arXiv preprint arXiv:2406.14459},
year = {2025}
}