训练噪声标记修剪
计算机视觉与模式识别
2025-03-17 v2
摘要
本文提出了一种名为训练噪声标记修剪（Training Noise Token Pruning，简称TNT Pruning）的方法，用于视觉Transformer模型。在本工作中，我们将离散的token丢弃条件放宽为连续的可加噪声，在训练过程中提供平滑的优化过程，同时在部署设置中保留离散丢弃的计算收益。我们将TNT方法与率失真文献中的理论联系进行了阐述，并通过在ImageNet数据集上使用ViT和DeiT架构进行经验评估，证明了TNT相对于先前修剪方法的优势。
引用
@article{arxiv.2411.18092,
title = {Training Noise Token Pruning},
author = {Mingxing Rao and Bohan Jiang and Daniel Moyer},
journal= {arXiv preprint arXiv:2411.18092},
year = {2025}
}
备注
25 pages, 8 figures