LOTUS：通过稀疏剪枝与数据彩票票据提升 Transformer 效率

视觉 Transformer 已经彻底改变了计算机视觉领域，但其计算需求给训练和部署带来了挑战。本文介绍了 LOTUS（LOttery Transformers with Ultra Sparsity，超稀疏彩票 Transformer），一种利用数据彩票票据选择和稀疏剪枝来加速视觉 Transformer 训练，同时保持准确性的新颖方法。我们的方法侧重于识别和利用最具信息量的数据子集，并消除冗余的模型参数，以优化训练过程。通过大量实验，我们证明了 LOTUS 在显著降低计算需求的情况下能够实现快速收敛和高准确性。这项工作突出了将数据选择与稀疏技术相结合以实现高效视觉 Transformer 训练的潜力，为该领域的进一步研究和发展打开了大门。