微调 NLP 模型中潜空间的变换研究
计算与语言
2022-10-25 v1
摘要
我们研究微调 NLP 模型中潜空间的演化。与常用的探测框架不同,我们选用无监督方法来分析表示。更具体地,我们利用层次聚类在表示空间中发掘潜概念。随后,我们使用对齐函数来度量预训练模型与其微调版本潜空间之间的相似性。我们利用传统语言学概念以促进理解,并研究模型空间如何向任务特定信息转变。我们进行了透彻的分析,在三种模型和三种下游任务上比较了预训练与微调模型。我们工作的显著发现为:i) 较高层的潜空间向任务特定概念演化,ii) 而较低层保留了预训练模型中获得的通用概念,iii) 我们发现较高层中的某些概念获得了朝向输出类别的极性,以及 iv) 这些概念可用于生成对抗触发词。
引用
@article{arxiv.2210.12696,
title = {On the Transformation of Latent Space in Fine-Tuned NLP Models},
author = {Nadir Durrani and Hassan Sajjad and Fahim Dalvi and Firoj Alam},
journal= {arXiv preprint arXiv:2210.12696},
year = {2022}
}
备注
EMNLP 2022