教师引导的架构搜索

近年来计算机视觉中神经网络的许多改进源于新网络架构的发现。大多数先前的工作使用候选模型在有限训练后的性能来以可行的方式自动引导搜索。能否通过以未知详细架构的高性能网络（例如灵长类视觉系统）的测量来引导搜索，从而实现计算效率的进一步提升？作为朝此目标的一步，我们使用表征相似性分析来评估候选网络的内部激活与（固定的、高性能的）教师网络的内部激活的相似性。我们表明，采用该评估指标可比性能引导的方法产生高达一个数量级的搜索效率。我们的方法找到了一个卷积单元结构，其性能与先前使用其他方法找到的相似，但总计算成本比神经架构搜索（NAS）低两个数量级，比渐进式神经架构搜索（PNAS）低四倍以上。我们进一步表明，仅来自灵长类视觉系统约 300 个神经元的测量就提供了足够的信号来找到一个在 ImageNet 上 top-1 误差显著低于仅由性能引导架构搜索所达到的网络。这些结果表明，在能够访问感兴趣的某个教师网络的部分或全部内部表征（例如大脑的感觉处理网络）的情况下，表征匹配可用于加速网络架构搜索。