补丁重生：面向快速且可迁移的视觉Transformer模型逆转

模型逆转是数据无学习中广泛采用的数据重构技术，通过迭代优化来重建合成输入，而无需访问原始训练数据。然而，其应用于最先进的视觉Transformer（ViT）面临重大计算挑战，due to其昂贵的自注意力机制。为此，提出了稀疏模型逆转（SMI）通过修剪和丢弃看似不重要的补丁来提高效率，甚至声称这些补丁是知识传递的障碍。然而，我们的实证发现相反：即使是随机选择的补丁也能通过持续逆转最终获取可迁移的知识。这一发现揭示了过早丢弃任何逆转的补丁是低效的，因为它抑制了提取与类别无关特征以实现知识传递，同时抑制了类别特定特征的提取。本文提出补丁重生逆转（PRI），一种新方法通过逐步分离逆转过程中最重要的补丁来构建稀疏合成图像，同时允许剩余补丁继续演化以供未来选择。这种渐进策略不仅提高了效率，还鼓励最初信息较少的补丁逐渐累积更多类别相关知识，我们称之为重生效应，从而有效平衡类别无关和类别特定知识。实验结果表明，PRI的速度比标准稠密模型逆转（DMI）快最高达10倍，比SMI快2倍，且在准确性上始终优于SMI，同时与DMI的性能持平。