PaliGemma 2：面向迁移的多功能 VLM 家族
计算机视觉与模式识别
2024-12-05 v1
摘要
PaliGemma 2 是基于 Gemma 2 系列语言模型的 PaliGemma 开放视觉语言模型（VLM）的升级版。我们将也被 PaliGemma 采用的 SigLIP-So400m 视觉编码器与 Gemma 2 模型的完整范围相结合，版本从 2B 一直到 27B。我们在三个分辨率（224px、448px 和 896px）上进行多个阶段的训练，以通过微调为其提供广泛的迁移知识。覆盖不同模型规模和分辨率的 resulting base model 系列允许我们研究影响迁移性能的因素（如学习率），并分析任务类型、模型规模和分辨率之间的相互作用。我们进一步增加了超过 PaliGemma 范围内的任务数量和广度，包括各种 OCR 相关任务，如表格结构识别、分子结构识别、音乐记谱识别，以及长细粒度描述和放射术报告生成，其中 PaliGemma 2 获得了最先进的结果。
引用
@article{arxiv.2412.03555,
title = {PaliGemma 2: A Family of Versatile VLMs for Transfer},
author = {Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
journal= {arXiv preprint arXiv:2412.03555},
year = {2024}
}