探讨指令多样性与机器人操作任务难度在多模态模型中的作用

仅凭其在分布外数据上的表现来评估多模态模型的泛化能力，无法真正捕捉其鲁健性。本工作引入一个全面的评估框架，系统性地检验指令和输入在此类模型泛化能力中的作用，考虑架构设计、跨语言和视觉模态的输入扰动，以及任务复杂度的提升。该框架揭示了多模态模型对极端指令扰动的韧性以及其对观察性变化的脆弱性，这引发了对过拟合虚假关联的担忧。通过在当前基于 Transformer 的机器人操作任务多模态模型上应用该评估框架，我们发现这些模型存在局限性，并建议未来的进一步发展应聚焦于更好集成多模态输入的架构和训练创新，通过优先考虑对输入内容的敏感性来增强模型的泛化能力。