在 HPC 基础设施上扩展 Flood-Filling 网络的分布式训练用于脑图谱绘制
分布式、并行与集群计算
2019-12-11 v4 机器学习
图像与视频处理
神经元与认知
摘要
绘制大脑中所有神经元需要从体电子显微镜数据中自动重建完整细胞。flood-filling network（FFN，泛洪填充网络）架构在从该类数据中分割结构方面已展现出领先性能。然而，该网络的训练在计算上十分昂贵。为减少训练时间，我们使用 Horovod 库实现了同步且数据并行的分布式训练，这与已发布的 FFN 代码中所用的异步训练方案不同。我们证明了我们的分布式训练在 Theta 超级计算机上可良好扩展至 2048 个 Intel Knights Landing（KNL）节点。我们训练的模型达到了相似的推理性能水平，但相较于先前方法耗时更短。我们关于不同批量大小对 FFN 训练影响的研究提出了进一步提升训练效率的途径。我们在最优学习率和批量大小上的发现与先前工作一致。
引用
@article{arxiv.1905.06236,
title = {Scaling Distributed Training of Flood-Filling Networks on HPC Infrastructure for Brain Mapping},
author = {Wushi Dong and Murat Keceli and Rafael Vescovi and Hanyu Li and Corey Adams and Elise Jennings and Samuel Flender and Tom Uram and Venkatram Vishwanath and Nicola Ferrier and Narayanan Kasthuri and Peter Littlewood},
journal= {arXiv preprint arXiv:1905.06236},
year = {2019}
}
备注
9 pages, 10 figures