TinyCLIP：通过亲和度模仿与权重继承的 CLIP 蒸馏
计算机视觉与模式识别
2023-09-22 v1
摘要
本文提出一种新颖的跨模态蒸馏方法 TinyCLIP，用于大规模语言-图像预训练模型。该方法引入两项核心技术：亲和度模仿与权重继承。亲和度模仿探究蒸馏过程中模态间的交互，使学生模型在视觉-语言亲和空间中模仿教师学习跨模态特征对齐的行为。权重继承将教师模型的预训练权重传递给学生模型以提升蒸馏效率。此外，我们将该方法扩展为多阶段渐进式蒸馏，以缓解极端压缩中有信息权重的损失。综合实验证明了 TinyCLIP 的有效性，显示其可将预训练 CLIP ViT-B/32 的尺寸缩减 50%，同时保持可比的零样本性能。在以相当性能为目标时，带权重继承的蒸馏相比从头训练可加速训练 1.4 - 7.8 。此外，我们在 YFCC-15M 上训练的 TinyCLIP ViT-8M/16 在 ImageNet 上取得了令人印象深刻的 41.1% 零样本 top-1 准确率，超越原始 CLIP ViT-B/16 达 3.5%，而仅使用 8.9% 的参数。最后，我们展示了 TinyCLIP 在各种下游任务中的良好可迁移性。代码和模型将在 https://aka.ms/tinyclip 开源。
引用
@article{arxiv.2309.12314,
title = {TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance},
author = {Kan Wu and Houwen Peng and Zhenghong Zhou and Bin Xiao and Mengchen Liu and Lu Yuan and Hong Xuan and Michael Valenzuela and Xi and Chen and Xinggang Wang and Hongyang Chao and Han Hu},
journal= {arXiv preprint arXiv:2309.12314},
year = {2023}
}
备注
Accepted By ICCV 2023