深度前馈 ReLU 神经网络的参数可辨识性
统计理论
2023-05-15 v2 机器学习
统计理论
摘要
根据神经网络在输入空间子集上的函数知识来恢复其参数（权重与偏置），在不同情境下可能是一种诅咒，也可能是一种福音。一方面，恢复参数有助于发起更优的对抗攻击，并可能泄露用于构建该网络的数据集中的敏感信息。另一方面，若能恢复网络参数，则能保证用户可解释潜空间中的特征，也为获得网络性能的形式化保证提供了基础。因此，刻画哪些网络的参数可被辨识、哪些不可被辨识十分重要。本文给出了一组关于深度全连接前馈 ReLU 神经网络的条件，在其满足时，该网络所实现的、在输入空间子集上的函数可唯一确定（模置换与正缩放）其参数。
引用
@article{arxiv.2112.12982,
title = {Parameter identifiability of a deep feedforward ReLU neural network},
author = {Joachim Bona-Pellissier and François Bachoc and François Malgouyres},
journal= {arXiv preprint arXiv:2112.12982},
year = {2023}
}