谱内省识别深度神经网络在神经影像学中的群体训练动力学
机器学习
2024-06-18 v1 图像与视频处理
神经元与认知
摘要
神经网络通过其复杂的非线性数学结构对研究者研究复杂现象，但这种结构对人类研究者而言难以解释。这一障碍在研究者希望更好地理解特定模型行为（如偏差、过拟合、过参数化等）的出现方式时尤为突出。在神经影像学中，理解这些现象如何产生是防止并告知用户实际风险的关键。在本工作中，我们提出了一种用于神经影像学数据的深度学习新颖内省框架，利用梯度计算的自然结构通过反向自动求导期间梯度分量的奇异值分解。不同于后续内省技术后置评估，完全训练模型后方可进行，我们的方法允许即时研究训练动力学，更有趣的是，允许基于属于特定兴趣组的样本来分解梯度。我们展示了在COBRE研究中，针对精神分裂症与对照参与者的几个常见深度学习模型的梯度谱如何不同，并说明了这些轨迹如何揭示有助于进一步分析的特定训练动力学。
引用
@article{arxiv.2406.11825,
title = {Spectral Introspection Identifies Group Training Dynamics in Deep Neural Networks for Neuroimaging},
author = {Bradley T. Baker and Vince D. Calhoun and Sergey M. Plis},
journal= {arXiv preprint arXiv:2406.11825},
year = {2024}
}