用于具身智能体测试时适应的世界模型植入框架

在具身AI中，一个持续存在的挑战是使智能体能够在不需要大量数据收集或重新训练的情况下稳健地适应新领域。为了解决这个问题，我们提出了世界模型植入框架（WorMI），它将大语言模型（LLM）的推理能力与独立学习的领域特定世界模型通过测试时组合相结合。通过实现世界模型的无缝植入和移除，具身智能体的策略实现了并保持了跨领域适应性。在WorMI框架中，我们采用基于原型的世界模型检索方法，利用高效的基于轨迹的抽象表示匹配，将相关模型纳入测试时组合。我们还开发了一种世界感知复合注意力方法，不仅整合了检索到的世界模型中的知识，还将这些模型的中间表示与智能体策略中推理模型的表示对齐。这种框架设计有效地融合了来自多个世界模型的领域特定知识，确保了对未见领域的稳健适应。我们在VirtualHome和ALFWorld基准上评估了WorMI，在一系列未见领域中的零样本和少样本性能优于几种基于LLM的方法。这些结果突显了该框架在具身智能体场景中实现可扩展、实际部署的潜力，其中适应性和数据效率至关重要。