SemTra：一种用于跨域零样本策略适应的语义技能翻译器

这项工作探索了语义技能（即可语义解释的专家行为模式）在跨域设置中的零样本适应能力，在这种设置中，用户以交错的多模态片段形式输入，可以提示一个针对不同领域的新长程任务。在这些跨域设置中，我们提出了一个语义技能翻译器框架SemTra，它利用一组多模态模型从片段中提取技能，并利用预训练语言模型的推理能力将这些提取到的技能适应到目标域。该框架采用两级层次结构进行适应：任务适应和技能适应。在任务适应期间，语言模型进行的序列到序列翻译将提取到的技能转换为一个语义技能序列，该序列经过定制以适应当前跨域上下文。技能适应侧重于通过参数实例化来优化每个语义技能以适应目标域上下文，这些实例化通过语言提示和基于对比学习的上下文推理来促进。这种分层适应使框架不仅能够从交错的多模态片段中一次性推断出复杂的任务规范，还能通过零样本学习能力将其适应到新领域。我们在Meta-World、Franka Kitchen、RLBench和CARLA环境中评估了我们的框架。结果阐明了该框架在执行长任务和适应不同领域方面的优越性，展示了其在实践应用案例中的广泛适用性，例如认知机器人解释抽象指令和自动驾驶车辆在不同配置下运行。