通过微调和模型合并追踪通用特征
计算与语言
2024-10-17 v1 机器学习
摘要
我们研究特征在针对文本的不同微调模型间的出现、消失和持续情况。更具体地，我们从一个基于 BabyLM 语料库和 The Stack 中 Python 代码集合训练的单层 Transformer 语言模型开始。该基础模型分别被适应到 TinyStories 和 Lua 编程语言两个文本域，然后使用球面线性插值将这两个模型合并。我们的探索旨在为在小规模模型和稀疏自编码器的典型迁移学习情景中，特征的稳定性和转换提供更深入的见解。
引用
@article{arxiv.2410.12391,
title = {Tracking Universal Features Through Fine-Tuning and Model Merging},
author = {Niels Horn and Desmond Elliott},
journal= {arXiv preprint arXiv:2410.12391},
year = {2024}
}