关于深度神经网络中的功能激活
人工智能
2023-11-21 v1 神经与进化计算
摘要
背景：深度神经网络已被证明是建模、预测和生成的强大计算工具。然而，这些模型的工作机制通常是不可解释的。近期研究表明，某些模型的性能受到模型内部重叠的功能连接网络所调节。此处将功能神经成像技术应用于一个典型大语言模型以探查其功能结构。方法：生成了一系列区组设计的基于任务的提示序列来探查 Facebook Galactica-125M 模型。任务包括与政治科学、医学影像、古生物学、考古学、病理学相关的提示，以及以关/开/关模式呈现的随机字符串，其间穿插关于其他随机主题的提示。对于每一个输出词元的生成，保存所有层输出值以创建有效时间序列。对数据拟合广义线性模型以识别随任务激活的层输出值。结果：针对每个任务识别出了不同的、重叠的网络。医学影像与病理学网络之间观察到最大重叠。这些网络在相关任务的重复执行中具有可重复性，并且所识别的功能网络与未用于定义功能网络的任务中的激活的对应关系被证明能准确识别所呈现的任务。结论：功能神经成像技术可作为探查深度神经网络工作机制的一种手段应用于后者。所识别的功能网络具有用于模型对齐、模型输出调节以及确定微调中需针对的权重的潜力。
引用
@article{arxiv.2311.10898,
title = {On Functional Activations in Deep Neural Networks},
author = {Andrew S. Nencka and L. Tugan Muftuler and Peter LaViolette and Kevin M. Koch},
journal= {arXiv preprint arXiv:2311.10898},
year = {2023}
}