探索多模态物理动力学推理中的失败案例
计算与语言
2024-02-27 v1
摘要
在本文中，我们探讨了大型语言模型 (LLMs) 在情境环境中利用物理推理解决问题的能力。我们构建了一个简单的模拟环境，并展示了在零样本设置下，文本和多模态 LLMs 虽然表现出关于各种物体的原子世界知识，但在物体操作和放置任务中无法将这些知识组合成正确的解决方案。我们还使用了 BLIP（一种经过更复杂跨模态注意力训练的视觉 - 语言模型）来识别该模型未能 grounding 的与物体物理属性相关的案例。最后，我们提出了一种发现环境中物体相关属性的程序，并提出了一种将此知识蒸馏回 LLM 的方法。
引用
@article{arxiv.2402.15654,
title = {Exploring Failure Cases in Multimodal Reasoning About Physical Dynamics},
author = {Sadaf Ghaffari and Nikhil Krishnaswamy},
journal= {arXiv preprint arXiv:2402.15654},
year = {2024}
}
备注
10 pages, 10 figures, Proceedings of AAAI Spring Symposium: Empowering Machine Learning and Large Language Models with Domain and Commonsense Knowledge (MAKE). AAAI (2024)