迈向能“看”的语言模型：通过自然语言透镜的计算机视觉
计算与语言
2023-06-29 v1 计算机视觉与模式识别
摘要
我们提出 LENS，一种利用大语言模型（LLMs）解决计算机视觉问题的模块化方法。我们的系统使用语言模型对一组独立且高度描述性的视觉模块的输出进行推理，这些模块提供关于图像的详尽信息。我们在纯计算机视觉设定（如零样本与少样本目标识别）以及视觉与语言问题上评估该方法。LENS 可应用于任何现成的 LLM，我们发现配备 LENS 的 LLM 无需任何多模态训练，即可与庞大且复杂得多的系统极具竞争力地表现。我们在 https://github.com/ContextualAI/lens 开源代码并提供交互式演示。
引用
@article{arxiv.2306.16410,
title = {Towards Language Models That Can See: Computer Vision Through the LENS of Natural Language},
author = {William Berrios and Gautam Mittal and Tristan Thrush and Douwe Kiela and Amanpreet Singh},
journal= {arXiv preprint arXiv:2306.16410},
year = {2023}
}