人工智能中的神经侵蚀:模拟受控神经退行和衰老
计算与语言
2024-03-19 v1 人工智能
神经元与认知
摘要
为实现模拟人工智能 (AI) 中脑功能衰退和认知障碍的受控方法至关重要。我们使用由大型语言模型 (LLM) 执行的 IQ 测试,特别是 LLaMA 2,提出了“神经侵蚀”的概念。这种刻意的侵蚀涉及剔除突触或神经元,或在训练期间或训练后添加高斯噪声,从而导致 LLM 性能的受控渐进性衰退。我们能够描述 IQ 测试中的神经退行,并表明 LLM 首先丧失数学能力,然后丧失语言能力,进而丧失理解问题的能力。据我们了解,这是首个以文本数据建模神经退行的工作,与其他在计算机视觉领域操作的工作形成对比。最后,我们将我们的研究与认知衰退临床研究中涉及试验主体的研究进行比较。我们发现,应用神经退行方法后,LLM 会丧失抽象思维能力,随后出现数学退行,最终导致语言能力丧失,无法对提示作出连贯的响应。这些发现符合人类研究的结果。
引用
@article{arxiv.2403.10596,
title = {Neural Erosion: Emulating Controlled Neurodegeneration and Aging in AI Systems},
author = {Antonios Alexos and Yu-Dai Tsai and Ian Domingo and Maryam Pishgar and Pierre Baldi},
journal= {arXiv preprint arXiv:2403.10596},
year = {2024}
}
备注
19 pages, 6 figures in the main text, 5 figures in the Appendix