基于拓扑结构的语言模型：TopoLM 中的脑类空间-功能组织

大脑神经元在空间上有组织，使得相邻神经元常表现出相似的响应轮廓。在人类语言系统中，实验研究观察到语法和语义类别的聚类，但其功能组织背后的机制仍不明确。本文构建了 TopoLM，一种在模型单元上具备显式二维空间表示的转换器语言模型。通过将下一词预测目标与空间平滑损失相结合，本模型中的表示汇聚成对应语义可解释聚类的结构，并与大脑语言系统的功能组织高度吻合。TopoLM 成功预测了皮层语言系统空间-功能组织的出现，以及针对细粒度语言特征的功能聚类——这些聚类在人类皮层中均被实证观察到。我们的结果表明，人类语言系统的功能组织由统一的空间目标驱动，并为大脑语言处理提供了一个在功能和空间上均与之对齐的模型。