SCoTTi：一种自适应框架以节省训练时的计算量
机器学习
2023-12-27 v1 人工智能
计算机视觉与模式识别
摘要
端侧训练是机器学习中一种新兴方法，模型在边缘设备上训练，旨在增强隐私保护和实时性能。然而，边缘设备通常拥有有限的计算能力和资源，使得执行计算密集型的模型训练任务具有挑战性。因此，减少训练过程中的资源消耗已成为该领域亟待关注的问题。为此，我们提出了 SCoTTi（Save Computation at Training Time），一种解决上述挑战的自适应框架。它利用可优化的阈值参数有效减少训练期间的神经元更新次数，从而对应减少内存和计算占用。我们提出的方法在各种常用基准测试和流行架构（包括 ResNets、MobileNet 和 Swin-T）上的计算资源节省方面，表现出优于最先进方法的性能。
引用
@article{arxiv.2312.12483,
title = {SCoTTi: Save Computation at Training Time with an adaptive framework},
author = {Ziyu Lin and Enzo Tartaglione and Van-Tam Nguyen},
journal= {arXiv preprint arXiv:2312.12483},
year = {2023}
}