MM-PoE：利用多模态模型通过排除法进行多项选择推理
计算机视觉与模式识别
2025-12-17 v1 人工智能
计算与语言
机器学习
摘要
本文提出了多模态排除法多项选择推理（Multiple Choice Reasoning via Process of Elimination using Multi-Modal Models），即多模态排除法（MM-PoE）。这一新颖方法旨在增强视觉-语言模型（VLMs）在多项选择视觉推理任务中的效能。与传统方法独立评估每个选项不同，MM-PoE 采用双步评分范式，首先识别并排除不合理的选项，然后聚焦于最有可能的剩余选项。该方法模拟了人类的应试策略，即在做出最佳选择之前先排除明显错误的答案。我们在三个基准数据集上的实证评估表明，MM-PoE 显著提升了当代最先进 VLMs 的零样本和少样本性能。关键的是，该方法不仅将排除过程的应用扩展到多模态语境，还允许进行少样本实验，从而解决了 PoE 仅在零样本设置中以及仅在纯语言框架中使用的两个主要局限。因此，MM-PoE 不仅优化了 VLMs 的推理能力，还拓宽了其在复杂视觉问答场景中的应用范围。支持我们工作的所有代码和文档可在 https://pypi.org/project/mm-poe/ 获取，便于研究人员和实践者轻松集成和进一步发展这些技术。
引用
@article{arxiv.2412.07148,
title = {MM-PoE: Multiple Choice Reasoning via. Process of Elimination using Multi-Modal Models},
author = {Sayak Chakrabarty and Souradip Pal},
journal= {arXiv preprint arXiv:2412.07148},
year = {2025}
}