面向时间约束具身控制的模型自适应

在将深度学习模型应用于具身智能体时，需要针对特定任务和运行条件优化模型结构。这种优化可以是静态的，如模型压缩，也可以是动态的，如自适应推理。然而，这些技术尚未在受时间约束的具身控制系统中得到充分研究，这类系统需要对多个任务进行顺序决策，每个任务都有不同的推理延迟限制。在本文中，我们提出了MoDeC，一个使用模块化模型自适应的、感知时间约束的具身控制框架。我们将模型对资源与时间限制等不同运行条件的自适应，形式化为模块化网络上的动态路由，并将这些条件作为多任务目标的一部分。我们在多个基于视觉的具身环境中的评估展示了MoDeC的鲁棒性，表明在机器人操作和自动驾驶应用中，它在性能和遵守时间约束方面均优于其他模型自适应方法。