用于模拟模拟交叉阵列上训练与推理的灵活快速 PyTorch 工具包
机器学习
2023-02-17 v1 硬件体系结构
摘要
我们介绍了 IBM Analog Hardware Acceleration Kit，一种全新且首创的开源工具包，可在 PyTorch 内便捷地模拟模拟交叉阵列（免费提供于 https://github.com/IBM/aihwkit）。该工具包正处于活跃开发中，并围绕“模拟块（analog tile）”概念构建，其捕获交叉阵列上执行的计算。模拟块是构建模块，可用于扩展现有网络模块以加入模拟组件，并利用 PyTorch 框架的灵活性组合任意人工神经网络（ANN）。模拟块可便捷配置以模拟大量不同的模拟硬件特性及其非理想性，例如器件间与周期间变化、阻性器件响应曲线以及权重与输出噪声。此外，该工具包可设计自定义单元配置并使用先进模拟优化算法如 Tiki-Taka。而且，反向与更新行为可设为“理想”以启用仅针对推理加速芯片的硬件感知训练特性。为评估此类芯片随时间的推理精度，我们提供了基于相变存储器硬件校准的统计编程噪声与漂移模型。我们的新工具包完全 GPU 加速，可用于便捷估计未来模拟技术的材料特性与非理想性对任意 ANN 精度的影响。
引用
@article{arxiv.2104.02184,
title = {A flexible and fast PyTorch toolkit for simulating training and inference on analog crossbar arrays},
author = {Malte J. Rasch and Diego Moreda and Tayfun Gokmen and Manuel Le Gallo and Fabio Carta and Cindy Goldberg and Kaoutar El Maghraoui and Abu Sebastian and Vijay Narayanan},
journal= {arXiv preprint arXiv:2104.02184},
year = {2023}
}
备注
Submitted to AICAS2021