DeepTracker：卷积神经网络训练过程可视化
计算机视觉与模式识别
2018-08-28 v1 人工智能
人机交互
机器学习
摘要
深度卷积神经网络（CNNs）已在多个领域取得显著成功。然而，训练一个优秀的 CNN 实际上是一个消耗大量时间与计算资源的试错过程。为加速训练并减少试错次数，专家需要理解训练过程中发生了什么以及为何所得 CNN 表现出如此行为。然而，当前流行的训练平台（如 TensorFlow）仅提供极少的通用信息（如训练/验证误差），远不足以服务于该目的。为弥补这一差距并在实际环境中协助领域专家完成训练任务，我们提出一种可视化分析系统 DeepTracker，以促进对 CNN 训练过程丰富动态的探查，并识别隐藏在海量训练日志背后的异常模式。具体而言，我们结合层次化索引机制与一组层次化小多图，帮助专家从不同细节层级探索整个训练日志。我们还引入一种新颖的立方体式可视化，以揭示神经元权重、验证图像与训练迭代等多类异构训练数据间的复杂关联。我们开展了三个案例研究，展示 DeepTracker 如何在工业级 CNN 训练过程（即本例中在 ImageNet 数据集上训练 ResNet-50）中为用户提供有价值的知识。我们表明该方法可轻易应用于其他最先进的“极深”CNN 模型。
引用
@article{arxiv.1808.08531,
title = {DeepTracker: Visualizing the Training Process of Convolutional Neural Networks},
author = {Dongyu Liu and Weiwei Cui and Kai Jin and Yuxiao Guo and Huamin Qu},
journal= {arXiv preprint arXiv:1808.08531},
year = {2018}
}
备注
Published at ACM Transactions on Intelligent Systems and Technology (in press)