深度神经网络表征瓶颈的发现与解释
机器学习
2022-11-08 v4 人工智能
计算机视觉与模式识别
摘要
本文从深度神经网络（DNNs）所编码的输入变量之间交互的复杂性角度，探究DNNs特征表示的瓶颈。为此，我们关注输入变量间的多阶交互，其中阶数表示交互的复杂性。我们发现，DNN更倾向于编码过于简单的交互和过于复杂的交互，但通常无法学习中等复杂度的交互。这一现象在不同任务的不同DNN中广泛存在。该现象表明了DNN与人类之间的认知鸿沟，我们称之为表征瓶颈。我们从理论上证明了表征瓶颈的潜在原因。此外，我们提出了一种损失函数以鼓励或惩罚特定复杂度交互的学习，并分析了不同复杂度交互的表征能力。
引用
@article{arxiv.2111.06236,
title = {Discovering and Explaining the Representation Bottleneck of DNNs},
author = {Huiqi Deng and Qihan Ren and Hao Zhang and Quanshi Zhang},
journal= {arXiv preprint arXiv:2111.06236},
year = {2022}
}