深度学习成功的潜在机制
计算机视觉与模式识别
2023-05-30 v1
摘要
深度架构由数十或数百个卷积层(CLs)组成,终止于少数全连接(FC)层和一个代表复杂分类任务可能标签的输出层。根据现有的深度学习(DL)原理,第一个 CL 从原始数据中揭示局部化特征,而后续层逐步提取精细分类所需的高级特征。本文提出了一种高效的三阶段流程,用于量化成功 DL 的潜在机制。首先,训练一个深度架构以最大化成功率(SR)。接着,固定前几个 CL 的权重,仅训练连接到输出的拼接新 FC 层,得到随层数推进的 SR。最后,除来自单个滤波器的权重外,静默已训练的 FC 权重,从而利用输入标签与平均输出场之间的相关矩阵量化该滤波器的功能,由此获得一组定义良好的可量化特征。每个滤波器本质上独立于输入标签地选择一个输出标签,这似乎阻碍了高 SR;然而,它反直觉地识别出一小部分可能的输出标签。该特征是底层 DL 机制的重要组成部分,并随层逐渐锐化,导致信噪比和 SR 的提升。在定量上,该机制由 VGG-16、VGG-6 和 AVGG-16 例证。所提出的 DL 底层机制为识别每个滤波器的质量提供了准确工具,并有望指导其他流程以改善 DL 的 SR、计算复杂度和延迟。
引用
@article{arxiv.2305.18078,
title = {The mechanism underlying successful deep learning},
author = {Yarden Tzach and Yuval Meir and Ofek Tevet and Ronit D. Gross and Shiri Hodassman and Roni Vardi and Ido Kanter},
journal= {arXiv preprint arXiv:2305.18078},
year = {2023}
}
备注
33 pages, 8 figures