面向多任务大模型的设备端调优
计算机视觉与模式识别
2023-02-22 v1
摘要
无监督预训练方法在计算机视觉(CV)、自然语言处理(NLP)等诸多领域取得了巨大成功。然而,与典型的深度学习模型相比,最先进的自注意力模型的预训练甚至微调都极为昂贵,因为它们需要更多的计算和内存资源。这严重限制了它们在各种领域的应用和成功,尤其是在多任务学习中。为了提高效率,我们提出了用于高效多任务模型的设备端调优(Device Tuning),这是一个跨云与设备的海量多任务框架,旨在促进学习到能更好地泛化到许多不同任务的表征。具体而言,我们设计了同时有益于云端建模与设备端建模的多任务模型设备端调优架构,通过表征压缩减少了设备与云之间的通信。实验结果证明了我们所提方法的有效性。
引用
@article{arxiv.2302.10820,
title = {Device Tuning for Multi-Task Large Model},
author = {Penghao Jiang and Xuanchen Hou and Yinsi Zhou},
journal= {arXiv preprint arXiv:2302.10820},
year = {2023}
}
备注
AAAI Conference on Artificial Intelligence Deployable AI (DAI) 2023