借助漫画进行思考:通过结构化视觉叙事提升多模态推理
人工智能
2026-02-04 v2
摘要
链式思维推理已推动大型语言模型从文本推理扩展到图像和视频推理。然而,不同模态仍存在明显局限:静态图像难以表示时间结构,而视频则引入大量冗余和计算成本。本文提出“借助漫画进行思考”(Thinking with Comics),一种利用漫画作为介于图像与视频之间的高信息密度介质的视觉推理范式。漫画保留了时间结构、嵌入文本以及叙事连贯性,同时所需的推理成本显著降低。我们系统研究了基于漫画的两种推理路径,并在多种推理任务和长上下文理解任务上进行评估。实验结果表明,借助漫画进行思考在多步骤时序和因果推理任务上优于图像推理,同时比视频推理效率更高。进一步分析显示,不同的漫画叙事结构和风格在各类任务中均一致影响性能,这表明漫画是一种有效的中间视觉表征,能够提升多模态推理能力。
引用
@article{arxiv.2602.02453,
title = {Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling},
author = {Andong Chen and Wenxin Zhu and Qiuyu Ding and Yuchen Song and Muyun Yang and Tiejun Zhao},
journal= {arXiv preprint arXiv:2602.02453},
year = {2026}
}
备注
Working paper