探测人工神经网络：来自神经科学的启示

神经科学与机器学习中的一个主要挑战是开发用于理解复杂信息处理系统的有用工具。其中一种工具是探针（probe），即把感兴趣的特征与生物或人工神经网络中产生的激活模式相关联的监督模型。神经科学通过近几十年的大量研究为此类模型的使用铺平了道路。在本工作中，我们借鉴神经科学以指导机器学习中的探针研究。我们强调探针的两个重要设计选择——方向性与表达能力——并将这些选择与研究方向相关联。我们认为明确的研究方向在设计探针时起着至关重要的作用，并鼓励未来的探针研究明确陈述这些目标。