探讨Transformer潜在空间几何对下游任务性能的影响
计算与语言
2024-06-19 v1 机器学习
摘要
人们普遍认为，基于Transformer的大型语言模型通过学习可在微调期间聚焦于特定任务的通用语言知识而受益。然而，我们提出，预训练的许多好处可能归功于潜在空间表示的几何特征，这些特征独立于任何特定语言知识。本文我们探讨了GLUE基准测试任务性能与应用于BERT类情境语言模型所产生潜在空间所施加的各种措施之间的关系。我们发现，量化单元密度的度量与平均GLUE性能之间存在强线性关系，并且这些度量可能预测来自文献中几个非标准BERT类模型的意外GLUE性能。这些结果可能指向一种降低预训练要求的策略，即通过潜在空间几何特征来信息化模型初始化。
关键词
引用
@article{arxiv.2406.12159,
title = {Exploring the Impact of a Transformer's Latent Space Geometry on Downstream Task Performance},
author = {Anna C. Marbut and John W. Chandler and Travis J. Wheeler},
journal= {arXiv preprint arXiv:2406.12159},
year = {2024}
}