Chameleon：混合模态早期融合基础模型
机器学习
2024-05-20 v2 数据分析、统计与概率
摘要
我们提出了 Chameleon，一种能够理解和生成图像和文本的早期融合标记基混合模态模型，能够以任意顺序处理混合模态序列。我们概述了从起源开始的稳定训练方法、一种对齐配方，以及为早期融合、标记基混合模态设置所特有的架构参数化。该模型在广泛的任务上进行评估，包括视觉问答、图像字幕、文本生成、图像生成和长篇混合模态生成。Chameleon 显示出广泛且通用的能力，包括在图像字幕任务中实现最先进的性能， 在文本任务中超越 Llama-2，同时在 Mixtral 8x7B 和 Gemini-Pro 等模型中保持竞争力，并且能够进行非平凡的图像生成，全部在单个模型中实现。根据人类对新建构的长篇混合模态生成评估的人类判断，Chameleon 可与或超过包括 Gemini Pro 和 GPT-4V 在内的更大型模型。Chameleon 标志着对完整混合模态文档进行统一建模的重要进展。
引用
@article{arxiv.2405.09817,
title = {Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data},
author = {Maxim Ziatdinov},
journal= {arXiv preprint arXiv:2405.09817},
year = {2024}
}
备注
Fixed PGM in Figure 2 and update caption