ChemVLR：化学视觉语言理解中感知优先的推理
计算与语言
2026-04-09 v1 人工智能
摘要
虽然视觉语言模型（VLM）在化学视觉理解方面展现出巨大潜力，但当前模型主要针对直接的视觉问答任务进行优化。这种范式通常导致“黑盒”系统，无法利用大型语言模型（LLM）推断潜在反应机制的固有能力。在这项工作中，我们引入了 ChemVLR，一种旨在感知过程中优先进行推理的化学 VLM。与传统化学 VLM 不同，ChemVLR 通过显式识别细粒度的化学描述符（如官能团）来细粒度地分析视觉输入，然后再生成答案。这种方法确保了为复杂的视觉化学问题生成显式且可解释的推理路径。为促进这种方法，我们实施了一种跨模态逆向工程策略，结合严格的过滤流程，构建了一个包含 76 万个高质量样本的大规模推理和描述数据集，涵盖分子和反应任务。此外，我们采用了一个三阶段训练框架，系统地构建模型的感知和推理能力。实验表明，ChemVLR 达到了最先进的（SOTA）性能，超越了领先的专有模型和特定领域的开源基线。我们还提供了全面的消融研究来验证我们的训练策略和数据生成设计。代码和模型权重将在 https://github.com/xxlllz/ChemVLR 提供。
引用
@article{arxiv.2604.06685,
title = {ChemVLR: Prioritizing Reasoning in Perception for Chemical Vision-Language Understanding},
author = {Xuanle Zhao and Xinyuan Cai and Xiang Cheng and Xiuyi Chen and Bo Xu},
journal= {arXiv preprint arXiv:2604.06685},
year = {2026}
}
备注
Accepted by ACL 2026 Findings, Preprint Version