合成范畴重构：或者 AI 如何从对世界的经验中逐步提取高效规律
计算与语言
2025-03-17 v1 神经与进化计算
神经元与认知
摘要
语言模型如何将其对词汇世界的内部经验进行分割，以逐步学习更高效地与之交互？这项人工智能神经心理学研究探讨了合成范畴重构现象，即每个 successive 感知器神经层从前一层的思维范畴中提取并组合相关的范畴子维度。这一过程为分析和处理合成系统自身所暴露的语言外部世界的经验塑造了新的、更高效的范畴。我们与该研究配套的遗传神经元可视化工具，可以可视化从 GPT2-XL 的感知器层 0 到 1 过渡期间发生的合成范畴重构现象。
引用
@article{arxiv.2503.10643,
title = {Synthetic Categorical Restructuring large Or How AIs Gradually Extract Efficient Regularities from Their Experience of the World},
author = {Michael Pichat and William Pogrund and Paloma Pichat and Armanouche Gasparian and Samuel Demarchi and Martin Corbet and Alois Georgeon and Theo Dasilva and Michael Veillet-Guillem},
journal= {arXiv preprint arXiv:2503.10643},
year = {2025}
}