神经组学测序：迈向黑盒神经网络的可扩展精确参数重构
机器学习
2024-10-01 v1 人工智能
密码学与安全
信息论
神经与进化计算
math.IT
摘要
在仅有查询访问权限的条件下推断神经网络的精确参数是一个 NP-Hard 问题，目前鲜有实用的算法。该问题的解决将对安全性、验证、可解释性以及理解生物网络产生重大影响。其核心挑战在于庞大的参数空间以及神经元之间复杂的非线性关系。我们利用两个洞察来解决这些挑战。首先，我们观察到实践中使用的几乎所有网络都是通过随机初始化和一阶优化生成的，这一归纳偏置极大地缩小了实际参数空间。其次，我们提出了一种新颖的查询生成算法，能够产生信息量最大的样本，使我们能够高效地解耦非线性关系。我们演示了对包含超过 150 万个参数的隐藏网络以及 7 层深的网络的重构，这是迄今为止规模最大、最深的重构，最大参数差异小于 0.0001，并展示了在各种架构、数据集和训练过程中的鲁棒性和可扩展性。
引用
@article{arxiv.2409.19138,
title = {Sequencing the Neurome: Towards Scalable Exact Parameter Reconstruction of Black-Box Neural Networks},
author = {Judah Goldfeder and Quinten Roets and Gabe Guo and John Wright and Hod Lipson},
journal= {arXiv preprint arXiv:2409.19138},
year = {2024}
}