通过模块社区解析大型语言模型的认知模式
人工智能
2025-08-26 v1 计算与语言
机器学习
摘要
大型语言模型（LLMs）通过从科学发现和医疗诊断到聊天机器人等应用，在科学、工程和社会领域取得了显著进展。尽管它们广泛且实用，但其背后的机制仍被埋在数十亿参数和复杂结构之中，使得其内部架构和认知过程难以理解。我们通过采用生物学中理解新兴认知的方法，构建一种将认知技能、LLM架构与数据集联系起来的网络框架，开启了基础模型分析的范式转变。模块社区中的技能分布表明，尽管LLMs并不严格类比特定生物系统中观察到的专注化专业化，但它们展现出独特的模块社区，其新兴技能模式部分反映了鸟类和小型哺乳动物大脑中分布式且相互关联的认知组织。我们的numerical结果突显了与生物系统相比的关键差异，即在LLMs中，技能获取从动态的跨区域相互作用和神经可塑性方面受到显著益处。通过将认知科学原理与机器学习相结合，我们的框架为LLM可解释性提供了新见解，并建议有效的微调策略应利用分布式学习动力学，而非僵化的模块干预。
引用
@article{arxiv.2508.18192,
title = {Unraveling the cognitive patterns of Large Language Models through module communities},
author = {Kushal Raj Bhandari and Pin-Yu Chen and Jianxi Gao},
journal= {arXiv preprint arXiv:2508.18192},
year = {2025}
}