语言模型神经元内部的注意力：激活与语义之间的关系
人工智能
2025-03-18 v1 计算与语言
神经元与认知
摘要
本研究调查了语言模型中感知器型神经元执行神经元内部注意力的能力，即基于神经元特别响应的 token 的特定激活区域分割，在其编码的合成思维范畴内识别不同的同质范畴片段。因此，本工作的目标是确定形式神经元能在多大程度上在基于激活的分割与范畴分割之间建立同态关系。结果表明，这种关系确实存在，尽管微弱，但仅存在于具有极高激活水平的 token 层面。这种神经元内部注意力随后使得下一层神经元能够进行范畴重构过程，从而有助于逐步形成高层范畴抽象。
引用
@article{arxiv.2503.12992,
title = {Intra-neuronal attention within language models Relationships between activation and semantics},
author = {Michael Pichat and William Pogrund and Paloma Pichat and Armanouche Gasparian and Samuel Demarchi and Corbet Alois Georgeon and Michael Veillet-Guillem},
journal= {arXiv preprint arXiv:2503.12992},
year = {2025}
}