ChatBridge：以大型语言模型作为语言催化剂连接多模态
计算机视觉与模式识别
2023-05-26 v1 人工智能
计算与语言
多媒体
摘要
构建能够感知多样真实世界模态并解决各类任务的通用模型是人工智能中一个引人瞩目的目标。本文提出ChatBridge，一种新颖的多模态语言模型，利用语言的表达能力作为催化剂来弥合各模态间的鸿沟。我们表明仅使用语言配对的两模态数据便足以连接所有模态。ChatBridge借助近期的大型语言模型(LLM)并将其零样本能力扩展至融合多样多模态输入。ChatBridge经历两阶段训练：第一阶段将各模态与语言对齐，带来涌现的多模态关联与协作能力；第二阶段使用我们新提出的多模态指令微调数据集MULTIS对ChatBridge进行指令微调以对齐用户意图，该数据集涵盖文本、图像、视频和音频模态下16项多模态任务的广泛范围。我们在涵盖文本、图像、视频和音频模态的零样本多模态任务上展示了强劲的定量与定性结果。ChatBridge的所有代码、数据与模型将开源。
引用
@article{arxiv.2305.16103,
title = {ChatBridge: Bridging Modalities with Large Language Model as a Language Catalyst},
author = {Zijia Zhao and Longteng Guo and Tongtian Yue and Sihan Chen and Shuai Shao and Xinxin Zhu and Zehuan Yuan and Jing Liu},
journal= {arXiv preprint arXiv:2305.16103},
year = {2023}
}