卷积神经网络深度应取几何：后院狗案例研究

本研究关注将预训练深度神经元网络精简为仅含少数层的更小网络，同时在给定任务上保留网络功能的问题。许多深度神经网络模型力求在最广运行条件下提供最高精度，但受限于数据缺乏或技术约束，这一目标未必总被需要、期望甚至可实现，此观察动机了我们提出的方法。针对人脸识别问题，我们构建了此类用例示例——‘后院狗’问题。由精简网络实现的‘后院狗’应正确识别有限个体群（‘家庭’）成员并区分彼此，同时对非家庭成员图像发出警报。为生成此类网络，我们提出一种浅化算法。该算法以现有深度学习模型为输入，输出其浅化版本。算法非迭代，基于高级监督主成分分析。算法性能在详尽数值实验中评估。在上述‘后院狗’用例中，该方法能大幅降低深度学习神经网络深度，代价为轻微性能退化。我们开发了用于浅化预训练深度网络的简单非迭代方法。该方法具通用性，适用于广泛前馈网络类，并基于高级监督主成分分析。该方法能从单一较大通用遗留网络生成针对特定运行条件与任务的更小尺寸浅层专用网络族。