揭示句子嵌入微调关键方面：基于表示秩分析
计算与语言
2024-05-21 v1
摘要
最新的无监督句子嵌入方法主要涉及对预训练语言模型进行基于对比学习(CL-based)的微调。在本研究中,我们采用表示秩作为主要分析工具,对最新的句子嵌入方法进行分析。我们首先基于表示秩峰值出现的时点定义微调的第一阶段和第二阶段。利用这些阶段,我们对齐力度、语言能力以及性能与秩之间的相关性等关键方面进行了深入分析,并得出essential发现。例如,我们发现随着微调从第一阶段过渡到第二阶段,关键方面的动态会发生显著变化。基于这些发现,我们实验了一种秩减少(RR)策略,以促进基于CL的最新方法进行快速稳定的微调。通过实证研究,我们展示了RR在提高五种最新句子嵌入方法的性能和稳定性方面的有效性。
引用
@article{arxiv.2405.11297,
title = {Unveiling Key Aspects of Fine-Tuning in Sentence Embeddings: A Representation Rank Analysis},
author = {Euna Jung and Jaeill Kim and Jungmin Ko and Jinwoo Park and Wonjong Rhee},
journal= {arXiv preprint arXiv:2405.11297},
year = {2024}
}