Lumos：赋予多模态大语言模型场景文本识别能力
计算机视觉与模式识别
2024-06-04 v2 计算与语言
机器学习
摘要
我们推出了 Lumos，这是首个具备文本理解能力的端到端多模态问答系统。Lumos 的核心是一个场景文本识别 (STR) 组件，该组件从第一人称视角图像中提取文本，其输出用于增强输入到多模态大语言模型 (MM-LLM) 的内容。在构建 Lumos 的过程中，我们遇到了许多与 STR 质量、整体延迟和模型推理相关的挑战。在本文中，我们深入探讨了这些挑战，并讨论了为克服这些障碍所采用的系统架构、设计选择和建模技术。我们还提供了对每个组件的全面评估，展示了其高质量和高效率。
引用
@article{arxiv.2402.08017,
title = {Lumos : Empowering Multimodal LLMs with Scene Text Recognition},
author = {Ashish Shenoy and Yichao Lu and Srihari Jayakumar and Debojeet Chatterjee and Mohsen Moslehpour and Pierce Chuang and Abhay Harpale and Vikas Bhardwaj and Di Xu and Shicong Zhao and Longfang Zhao and Ankit Ramchandani and Xin Luna Dong and Anuj Kumar},
journal= {arXiv preprint arXiv:2402.08017},
year = {2024}
}
备注
Accepted to KDD 2024 (ADS Track)