消融、变体与沉思：用于发现神经架构的可视化分析
人机交互
2019-08-02 v1 机器学习
神经与进化计算
摘要
深度学习模型需要配置许多层和参数才能获得良好结果。然而，目前关于如何配置一个成功模型的系统性指南很少。这意味着模型构建者通常必须通过手动编程不同的架构（这既繁琐又耗时）来进行实验，或者依赖纯自动化的方法来生成和训练架构（这成本高昂）。在本文中，我们提出了模型架构与参数的快速探索，即REMAP，这是一个可视化分析工具，允许模型构建者通过探索和快速实验神经网络架构来快速发现深度学习模型。在REMAP中，用户结合全局概览和局部实验来探索神经网络架构庞大而复杂的参数空间。通过对一组模型的可视化概览，用户识别出有趣的架构集群。基于他们的发现，用户可以运行消融和变体实验，以识别在给定架构中添加、移除或替换层的效果，并据此生成新模型。他们还可以使用简单的图形界面手动构建新模型。因此，模型构建者可以快速、高效地构建深度学习模型，而无需手动编程。我们通过与四位深度学习模型构建者进行的设计研究来指导REMAP的设计。通过一个用例，我们证明了REMAP允许用户通过可视化探索和用户定义的半自动化搜索，在模型空间中高效地发现性能优异的神经网络架构。
引用
@article{arxiv.1908.00387,
title = {Ablate, Variate, and Contemplate: Visual Analytics for Discovering Neural Architectures},
author = {Dylan Cashman and Adam Perer and Remco Chang and Hendrik Strobelt},
journal= {arXiv preprint arXiv:1908.00387},
year = {2019}
}