面向资源受限环境的混合Transformer参数高效任务适应方法——PETAH
人工智能
2025-10-02 v2 机器学习
摘要
在自然语言处理(NLP)中取得成功后，Transformer模型的应用正向计算机视觉迁移。尽管Transformer在性能方面表现良好且具有前景的多任务能力，但由于其高计算需求，许多资源受限的应用仍依赖卷积模型或混合模型，这类模型在不足1亿参数范围内能取得最佳结果。同时，允许使用一个共享Transformer主干网络适应多个下游任务的任务适应技术，以实现显著的存储节省并对性能影响微乎其微，目前尚未被应用于混合Transformer。本文研究如何实现最佳的任务适应性能，提出PETAH：参数高效混合Transformer任务适应方法。我们进一步将PETAH适应与剪枝结合，以实现高性能且存储友好的多任务模型。在在分类及其他视觉任务上的广泛评估表明，PETAH适配的混合模型在性能上优于ViT等已建立任务适应技术，同时所需参数更少，在移动硬件上更高效。
关键词
引用
@article{arxiv.2410.17661,
title = {PETAH: Parameter Efficient Task Adaptation for Hybrid Transformers in a resource-limited Context},
author = {Maximilian Augustin and Syed Shakib Sarwar and Mostafa Elhoushi and Sai Qian Zhang and Yuecheng Li and Barbara De Salvo},
journal= {arXiv preprint arXiv:2410.17661},
year = {2025}
}
备注
Published in CVPRW 2025