Projectable Models：从大模型生成小型专用 Transformer 的一次性方法

Andrey Zhmoginov; Jihwan Lee; Mark Sandler

Projectable Models：从大模型生成小型专用 Transformer 的一次性方法

机器学习 2025-06-09 v1 计算与语言

作者: Andrey Zhmoginov , Jihwan Lee , Mark Sandler

摘要

现代基础模型（FMs）通常在涵盖广泛不同数据模态、主题和下游任务的语料库上训练。利用这些模型计算成本很高，大多数消费设备无法实现。此外，广泛的 FM 知识实际上可能与特定任务无关。我们探索一种将大 Transformer 参数映射到小型专用模型参数的技术。通过使该转换任务特定，我们旨在捕获执行特定任务所需的狭窄范围的知识。我们在图像建模任务上研究该方法，表明生成的模型性能优于通用条件模型。

关键词

基础模型模型压缩知识蒸馏 Transformer 专用模型

引用

@article{arxiv.2506.05641,
  title  = {Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones},
  author = {Andrey Zhmoginov and Jihwan Lee and Mark Sandler},
  journal= {arXiv preprint arXiv:2506.05641},
  year   = {2025}
}

备注

Presented at ES-FoMo II: 2nd Workshop on Efficient Systems for Foundation Models (ICML 2024)

Projectable Models：从大模型生成小型专用 Transformer 的一次性方法

摘要

关键词

引用

备注

相关论文