使用梯度累积优化技术的 Swin 视觉 Transformer 模型性能评估
计算机视觉与模式识别
2023-08-02 v1 人工智能
摘要
视觉 Transformer（ViTs）已成为视觉识别任务的一种有前景的方法，通过利用基于 transformer 的架构力量革新了该领域。在各种 ViT 模型中，Swin Transformer 因其分层设计及有效捕获局部与全局视觉特征的能力而获得相当关注。本文使用梯度累积优化（GAO）技术评估 Swin ViT 模型的性能。我们研究梯度累积优化技术对模型准确率和训练时间的影响。我们的实验表明，与标准 Swin Transformer 模型相比，应用 GAO 技术导致 Swin ViT 模型准确率显著下降。此外，我们检测到应用 GAO 模型时 Swin ViT 模型训练时间显著增加。这些发现表明，应用 GAO 技术可能不适合 Swin ViT 模型，且对其他基于 transformer 的模型使用 GAO 技术时应谨慎。
引用
@article{arxiv.2308.00197,
title = {Performance Evaluation of Swin Vision Transformer Model using Gradient Accumulation Optimization Technique},
author = {Sanad Aburass and Osama Dorgham},
journal= {arXiv preprint arXiv:2308.00197},
year = {2023}
}