面向具身人工智能的多模态多任务（M3T）联邦基础模型：边缘集成的潜力与挑战

随着具身人工智能系统变得日益多模态、个性化和交互式，它们必须有效地从多样化的感官输入中学习，持续适应用户偏好，并在资源和隐私约束下安全运行。这些挑战凸显了对能够快速、上下文感知地适应，同时平衡模型泛化与个性化的机器学习模型的迫切需求。在此，两种方法成为合适的候选者，各自提供了部分能力：多模态多任务基础模型（M3T-FM）提供了跨任务和模态泛化的途径，而联邦学习（FL）则为分布式、隐私保护模型更新和用户级模型个性化提供了基础设施。然而，当单独使用时，这些方法都无法满足现实世界具身人工智能环境复杂多样的能力要求。在这篇愿景论文中，我们介绍了用于具身人工智能的多模态多任务联邦基础模型（M3T-FFM），这是一种将 M3T-FM 的优势与 FL 的隐私保护分布式训练特性相结合的新范式，使无线边缘的智能系统成为可能。我们在一个名为“EMBODY”的统一框架下，收集了 M3T-FFM 在具身人工智能生态系统中的关键部署维度：具身异构性、模态丰富性与不平衡性、带宽与计算约束、设备端持续学习、分布式控制与自主性，以及产出安全性、隐私性和个性化。针对每个维度，我们识别了具体挑战并构想了可操作的研究方向。我们还提出了一个用于在具身人工智能系统中部署 M3T-FFM 的评估框架，以及相关的权衡。最后，我们展示了 M3T-FFM 的原型实现，并评估了其能耗和延迟性能。