FasTrCaps：一种快速且精准的胶囊网络训练集成框架
机器学习
2021-01-26 v2 机器学习
摘要
近年来，胶囊网络（CapsNets）相较于传统卷积神经网络（CNNs）展现出更优性能，其通过更好地编码和保留检测特征间的空间关系实现这一点。这得益于所谓的胶囊（即神经元组）同时编码存在概率与空间信息。然而，CapsNets 广泛应用的主要障碍之一是其庞大的训练时间，主要源于不同于 CNNs 的新构成元素具有较高复杂度。本文在 CapsNets 的训练循环中实施多种优化，并研究这些优化如何影响训练速度与精度。为此，我们提出一种新颖框架 FasTrCaps，其集成了多种轻量级优化及一种称为 WarmAdaBatch 的新颖学习率策略（联合执行热重启与自适应批大小），并以恰当方式引导它们，以最小精度损失提供高训练循环加速。我们还提出胶囊层的权值共享。目标是通过移除未使用/冗余连接与胶囊来降低 CapsNets 的硬件需求，同时通过不同学习率策略与批大小的测试保持高精度。我们证明，FasTrCaps 框架生成的某方案相较 Google Brain 的 CapsNet 可实现 58.6% 的训练时间缩减，同时保持精度（在 MNIST 数据集上甚至有 0.12% 的精度提升）。FasTrCaps 生成的帕累托最优解可用于实现训练时间与所得精度间的权衡。我们已在 https://github.com/Alexei95/FasTrCaps 开源该框架。
引用
@article{arxiv.1905.10142,
title = {FasTrCaps: An Integrated Framework for Fast yet Accurate Training of Capsule Networks},
author = {Alberto Marchisio and Beatrice Bussolino and Alessio Colucci and Muhammad Abdullah Hanif and Maurizio Martina and Guido Masera and Muhammad Shafique},
journal= {arXiv preprint arXiv:1905.10142},
year = {2021}
}
备注
Accepted for publication at the 2020 International Joint Conference on Neural Networks (IJCNN)