ZhiJian：一个统一且可快速部署的预训练模型复用工具箱
机器学习
2023-08-21 v1 计算与语言
计算机视觉与模式识别
摘要
基础预训练模型及其微调对应模型的迅速扩张显著推动了机器学习的进步。利用预训练模型提取知识并加速现实任务中的学习，即“模型复用”，已在各类应用中变得至关重要。先前研究侧重于从特定方面复用模型，包括复用模型权重、结构与假设空间。本文介绍ZhiJian，一个全面且用户友好的模型复用工具箱，采用PyTorch后端。ZhiJian提出了一种统一多样模型复用视角的新范式，涵盖利用PTM构建目标架构、利用PTM调优目标模型以及基于PTM的推理。这使深度学习从业者能够探索下游任务并识别不同方法间的互补优势。ZhiJian已在 https://github.com/zhangyikaii/lamda-zhijian readily accessible，便于无缝利用预训练模型并为研究者和开发者简化模型复用流程。
引用
@article{arxiv.2308.09158,
title = {ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse},
author = {Yi-Kai Zhang and Lu Ren and Chao Yi and Qi-Wei Wang and De-Chuan Zhan and Han-Jia Ye},
journal= {arXiv preprint arXiv:2308.09158},
year = {2023}
}