迈向测量大型语言模型的表征相似性
机器学习
2023-12-06 v1 计算与语言
摘要
理解众多已发布的大型语言模型（LLMs）的相似性具有多种用途，例如简化模型选择、检测非法模型复用以及加深我们对LLMs为何表现良好的理解。在这项工作中，我们测量了一组具有7B参数的LLMs的表征相似性。我们的结果表明，一些LLMs与其他模型存在显著差异。我们识别了使用表征相似性度量所面临的挑战，这些挑战表明需要仔细研究相似性分数，以避免得出错误结论。
引用
@article{arxiv.2312.02730,
title = {Towards Measuring Representational Similarity of Large Language Models},
author = {Max Klabunde and Mehdi Ben Amor and Michael Granitzer and Florian Lemmerich},
journal= {arXiv preprint arXiv:2312.02730},
year = {2023}
}
备注
Extended abstract in UniReps Workshop @ NeurIPS 2023