Multimodal C4：图文交错的开源十亿级语料库
计算机视觉与模式识别
2023-10-31 v3 计算与语言
摘要
像 Flamingo 这样的上下文视觉与语言模型支持任意交错的图像与文本序列作为输入。这种格式不仅可通过交错独立的有监督（图像，文本）样本实现少样本学习，还支持涉及图像间交互的更复杂提示，例如“图像 A 和图像 B 有什么共同点？”。为支持此接口，预训练在同样包含交错图像+文本的网页语料上进行。然而迄今为止，此种形式的大规模数据尚未公开可用。我们发布 Multimodal C4，即流行的纯文本 C4 语料库的交错图像增强版。我们使用线性分配算法基于 CLIP 特征将图像置入较长文本体中，该过程经证明优于替代方案。Multimodal C4 涵盖烹饪、旅行、科技等日常主题。对随机文档样本的手动检查显示，绝大多数（88%）图像主题相关，且线性分配频繁选出与每幅图像特别对齐的单个句子（80%）。在过滤 NSFW 图像、广告等后，所得语料包含 101.2M 文档，其中 571M 图像交错于 43B 英文 token 中。
引用
@article{arxiv.2304.06939,
title = {Multimodal C4: An Open, Billion-scale Corpus of Images Interleaved with Text},
author = {Wanrong Zhu and Jack Hessel and Anas Awadalla and Samir Yitzhak Gadre and Jesse Dodge and Alex Fang and Youngjae Yu and Ludwig Schmidt and William Yang Wang and Yejin Choi},
journal= {arXiv preprint arXiv:2304.06939},
year = {2023}
}
备注
NeurIPS D&B 2023. Project homepage: https://github.com/allenai/mmc4