TencentPretrain：一个支持多模态预训练模型的可扩展灵活工具包
计算与语言
2023-07-12 v2
摘要
近来，文本领域预训练的成功已充分扩展到视觉、音频和跨模态场景。所提出的多模态预训练模型在其模型结构上呈现出同质化上升趋势，这为在统一框架内实现不同的预训练模型带来了机遇。在本文中，我们提出TencentPretrain，一个支持多模态预训练模型的工具包。TencentPretrain的核心特性是模块化设计。该工具包将预训练模型统一划分为5个组件：嵌入、编码器、目标嵌入、解码器和目标。由于几乎每个组件中均提供了所有常见模块，用户可以从不同组件中选择所需模块来构建完整的预训练模型。模块化设计使用户能够高效复现现有预训练模型或构建全新模型。我们在文本、视觉和音频基准上测试了该工具包，并表明其可以匹配原始实现的性能。
引用
@article{arxiv.2212.06385,
title = {TencentPretrain: A Scalable and Flexible Toolkit for Pre-training Models of Different Modalities},
author = {Zhe Zhao and Yudong Li and Cheng Hou and Jing Zhao and Rong Tian and Weijie Liu and Yiren Chen and Ningyuan Sun and Haoyan Liu and Weiquan Mao and Han Guo and Weigang Guo and Taiqiang Wu and Tao Zhu and Wenhang Shi and Chen Chen and Shan Huang and Sihong Chen and Liqun Liu and Feifei Li and Xiaoshuai Chen and Xingwu Sun and Zhanhui Kang and Xiaoyong Du and Linlin Shen and Kimmo Yan},
journal= {arXiv preprint arXiv:2212.06385},
year = {2023}
}