具有概念瓶颈结构与多任务形式线性神经网络的贝叶斯泛化误差
机器学习
2023-03-17 v1 人工智能
机器学习
统计理论
统计理论
摘要
概念瓶颈模型（CBM）是一种普遍的方法，可利用概念解释神经网络。在 CBM 中，概念作为可观测值插入在输出层与最后一个中间层之间。这有助于理解神经网络生成输出背后的原因：从最后隐藏层到输出层对应于概念的权重。然而，由于神经网络通常是奇异统计模型，至今仍无法理解 CBM 中泛化误差的行为。当模型为奇异时，无法建立从参数到概率分布的一一映射。这种不可辨识性使得分析泛化性能变得困难。在本研究中，我们从数学上阐明了当 CBM 的架构为三层线性神经网络时的贝叶斯泛化误差与自由能。我们还考虑了一个多任务问题，其中神经网络不仅输出原始输出，还输出概念。结果表明，与标准版本相比，CBM 极大地改变了三层线性神经网络中参数区域与贝叶斯泛化误差的行为，而多任务形式则没有。
引用
@article{arxiv.2303.09154,
title = {Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation},
author = {Naoki Hayashi and Yoshihide Sawada},
journal= {arXiv preprint arXiv:2303.09154},
year = {2023}
}
备注
31 pages, 14 figures, to be submitted to Neurocomputing