OFASys：用于构建通才模型的多模态多任务学习系统
计算机视觉与模式识别
2022-12-09 v1 人工智能
计算与语言
机器学习
摘要
通才模型能够在单一模型内以任务无关的方式执行多样的多模态任务，近来已得到探索。作为通往通用人工智能（general-purpose AI）的颇有希望的替代方案，现有的通才模型仍处于早期阶段，其模态与任务覆盖有限。为赋能多模态任务扩展并加速这一研究方向，我们发布了一个通才模型学习系统OFASys，其构建于名为多模态指令的声明式任务接口之上。OFASys的核心思想是将多模态任务表示与底层模型实现解耦。在OFASys中，涉及多种模态的任务甚至可以仅用一行代码以声明式定义。系统从此类指令自动生成用于训练和推断的任务计划。它还促进了面向多样多模态工作负载的多任务训练。作为起点，我们在OFASys中提供了7种不同模态和23个高度多样示例任务的预设，并借此开发了首个单一模型OFA+，可处理文本、图像、语音、视频和动作数据。单一的OFA+模型以仅15个任务微调模型16%的参数实现了平均95%的性能，展示了OFASys所提供的多模态任务扩展的性能可靠性。代码见 https://github.com/OFA-Sys/OFASys
引用
@article{arxiv.2212.04408,
title = {OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models},
author = {Jinze Bai and Rui Men and Hao Yang and Xuancheng Ren and Kai Dang and Yichang Zhang and Xiaohuan Zhou and Peng Wang and Sinan Tan and An Yang and Zeyu Cui and Yu Han and Shuai Bai and Wenbin Ge and Jianxin Ma and Junyang Lin and Jingren Zhou and Chang Zhou},
journal= {arXiv preprint arXiv:2212.04408},
year = {2022}
}