ReD-CaNe：近似下胶囊网络韧性分析与设计的系统化方法
机器学习
2020-07-03 v1 机器学习
摘要
胶囊网络（CapsNets）近期的进展显示出相较于传统卷积神经网络（CNNs）更优的学习能力。然而，CapsNets 极高的复杂度限制了其在现实应用中的快速部署。此外，尽管 CNNs 的韧性已被广泛研究以促成其高能效实现，CapsNets 韧性分析仍是一个很大程度上未被探索的领域，而这可为研究克服 CapsNets 复杂度挑战的技术提供坚实基础。遵循近似计算以实现能效设计的趋势，我们对受近似误差影响的 CapsNets 推理进行了广泛的韧性分析。我们的方法对源自近似组件（如乘法器）的误差建模，并分析其对 CapsNets 分类精度的影响。这使得能够基于 CapsNet 推理各操作的韧性来选择近似组件。我们修改 TensorFlow 框架，以在 CapsNet 推理的不同计算操作处模拟近似噪声（基于近似组件的模型）的注入。我们的结果表明，相较于卷积和激活函数等其他阶段，CapsNets 对动态路由（softmax 与系数更新）期间计算中注入的误差更具韧性。我们的分析对于设计带近似组件的高效 CapsNet 硬件加速器极为有用。据我们所知，这是在专用 CapsNet 硬件上采用近似的首次概念验证。
引用
@article{arxiv.1912.00700,
title = {ReD-CaNe: A Systematic Methodology for Resilience Analysis and Design of Capsule Networks under Approximations},
author = {Alberto Marchisio and Vojtech Mrazek and Muhammad Abudllah Hanif and Muhammad Shafique},
journal= {arXiv preprint arXiv:1912.00700},
year = {2020}
}
备注
To appear at the 23rd Design, Automation and Test in Europe (DATE 2020). Grenoble, France