探索编码位点：理解LLM编码性能的参数贡献
计算与语言
2024-12-11 v1
摘要
大语言模型（LLM）在多种编程语言的代码生成与理解方面已展现出显著的熟练度。然而，这种熟练度背后的机制尚未得到充分探索，特别是关于不同编程语言是独立处理还是在共享的参数区域内处理。借鉴大脑中负责不同认知功能的专门区域这一类比，我们引入了编码位点（Coding Spot）的概念，即LLM中促进编码能力的专门参数区域。我们的发现识别出了这一编码位点，并表明对该子集的针对性修改会显著影响编码任务的性能，同时基本保留非编码功能。这种模块化与认知神经科学中观察到的功能特化相呼应——大脑中特定区域专门负责不同任务——暗示LLM可能同样采用专门的参数区域来处理不同的知识领域。
引用
@article{arxiv.2412.07113,
title = {Exploring Coding Spot: Understanding Parametric Contributions to LLM Coding Performance},
author = {Dongjun Kim and Minhyuk Kim and YongChan Chun and Chanjun Park and Heuiseok Lim},
journal= {arXiv preprint arXiv:2412.07113},
year = {2024}
}