评估类比训练在迁移学习中的性能
机器学习
2025-05-19 v1 人工智能
硬件体系结构
计算机视觉与模式识别
分布式、并行与集群计算
神经与进化计算
摘要
类比内存计算是一种下一代计算范式，承诺实现快速、并行且高效的深度学习训练与迁移学习（TL）。然而，由于缺乏合适的训练算法，实现这一承诺一直未能如愿。类比存储器器件表现出非对称和非线性开关行为，以及器件间差异，这意味着大多数甚至全部现有的即插即用训练算法无法获得良好的训练结果。此外，最近提出的算法受到了有限的关注，因为它们需要双向开关器件的对称性和精度极高，且高度敏感。一种新算法切碎版迁移学习v2（c-TTv2），通过利用切碎技术来解决上述许多挑战。本文使用Swin-ViT模型在CIFAR100数据集的子集上评估了c-TTv2算法用于类比TL的性能。我们还研究了该算法对某些器件规格变化的鲁棒性，包括权重迁移噪声、对称性点偏斜和对称性点变异。
引用
@article{arxiv.2505.11067,
title = {Assessing the Performance of Analog Training for Transfer Learning},
author = {Omobayode Fagbohungbe and Corey Lammie and Malte J. Rasch and Takashi Ando and Tayfun Gokmen and Vijay Narayanan},
journal= {arXiv preprint arXiv:2505.11067},
year = {2025}
}