人工神经网络的多层次可解释性：借鉴神经科学的框架与方法
人工智能
2024-08-27 v2 神经元与认知
摘要
随着深度学习系统参数规模扩大到数千亿，將其内部结构与外部行为关联变得非常具有挑战性。尽管如此，这一问题并非新鲜事：神经科学家和认知科学家已积累了数十年分析一种尤为复杂系统——大脑的经验。在本工作中，我们认为解读生物和人工神经系统都需要在多个分析水平上进行分析，每个水平都使用不同的分析工具。我们首先阐述了神经科学家与人工神经网络研究者之间共同的大挑战：理解分布式神经机制如何产生复杂的认知和行为。随后，我们 presented 一系列可用于分析生物和人工神经系统的分析工具，依据 Marr 的三个分析水平进行组织：计算/行为、算法/表征、与实现。总体而言，多层次可解释性框架为解决神经系统的复杂性提供了原则方法；链接结构、计算与行为；阐明每个水平的假设与研究优先事项；并为理解智能系统（无论是生物性或人工性）奠定了统一努力的道路。
关键词
引用
@article{arxiv.2408.12664,
title = {Multilevel Interpretability Of Artificial Neural Networks: Leveraging Framework And Methods From Neuroscience},
author = {Zhonghao He and Jascha Achterberg and Katie Collins and Kevin Nejad and Danyal Akarca and Yinzhu Yang and Wes Gurnee and Ilia Sucholutsky and Yuhan Tang and Rebeca Ianov and George Ogden and Chole Li and Kai Sandbrink and Stephen Casper and Anna Ivanova and Grace W. Lindsay},
journal= {arXiv preprint arXiv:2408.12664},
year = {2024}
}