Small-Large 协作：基于元化小型 VLM 的大型 VLM 训练高效概念个人化
计算机视觉与模式识别
2025-08-12 v1
摘要
将视觉语言模型（VLM）个人化以转化为日常助手已成为备受关注的研究方向。然而，领先公司如 OpenAI 不断增加模型规模并开发复杂设计，如链式思维（chain of thought, CoT）。虽然大型 VLM 在复杂多模态理解方面表现出色，但其高训练成本和通过付费 API 的有限访问权限限制了直接个人化。相反，小型 VLM 易于个人化且免费可用，但缺乏足够的推理能力。鼓励此思路，我们提出一种新颖的协作框架，命名为 Small-Large 协作（Small-Large Collaboration, SLC），用于大型 VLM 个人化，其中小型 VLM 负责生成个人化信息，而大型模型整合这些个人化信息以提供准确响应。为了有效整合个人化信息，我们开发了一种测试时反思策略，防止小型 VLM 的潜在幻觉。由于 SLC 只需为大型 VLM 训练一个元化小型 VLM，整体过程具有训练效率。据我们了解，这是首个支持开源和闭源大型 VLM 的训练高效框架，使更广泛的实际个人化应用得以实现。我们在各种基准和大型 VLM 上进行了彻底的实验，以展示所提出 SLC 框架的有效性。代码将在 https://github.com/Hhankyangg/SLC 上发布。
引用
@article{arxiv.2508.07260,
title = {Small-Large Collaboration: Training-efficient Concept Personalization for Large VLM using a Meta Personalized Small VLM},
author = {Sihan Yang and Huitong Ji and Shaolin Lu and Jiayi Chen and Binxiao Xu and Ming Lu and Yuanxing Zhang and Wenhui Dong and Wentao Zhang},
journal= {arXiv preprint arXiv:2508.07260},
year = {2025}
}