链式问题：引导多模态好奇心的语言模型
计算与语言
2025-08-07 v1 人工智能
计算机视觉与模式识别
机器学习
多智能体系统
摘要
大型语言模型（LLM）的推理能力通过链式思考等方法取得了显著进展。然而，这些改进尚未完全转移到多模态情境，在该情境中，模型必须主动决定在与复杂真实环境交互时何时参与视觉、音频或空间感知等感官模态。本文介绍了链式问题（CoQ）框架，这是一种驱动多模态语言模型动态生成针对其周围环境的特定问题的好奇心驱动推理方法。这些生成的问题指导模型选择性地激活相关感官模态，从而gather 进行准确推理和响应生成所必需的关键信息。我们在由集成 WebGPT、ScienceQA、AVSD 和 ScanQA 数据集构建的新型多模态基准数据集上评估了该框架。实验结果表明，我们的 CoQ 方法提高了基础模型有效识别和整合相关感官信息的能力。这导致准确率、可解释性和推理过程与多样化多模态任务的对齐度均得到改善。
引用
@article{arxiv.2508.04350,
title = {Chain of Questions: Guiding Multimodal Curiosity in Language Models},
author = {Nima Iji and Kia Dashtipour},
journal= {arXiv preprint arXiv:2508.04350},
year = {2025}
}