FedVLN：保护隐私的联邦视觉-语言导航

数据隐私是具身智能体的核心问题，这类智能体能够感知环境、与人类交流并在真实世界中行动。在帮助人类完成任务时，智能体可能观察并处理用户的敏感信息，例如房屋环境、人类活动等。在这项工作中，我们针对视觉-语言导航（VLN）任务引入保护隐私的具身智能体学习，其中具身智能体通过遵循自然语言指令在房屋环境中导航。我们将每个房屋环境视为一个本地客户端，除本地更新外不与云服务器及其他客户端共享任何信息，并提出一种新颖的联邦视觉-语言导航（FedVLN）框架，以在训练和预探索两个阶段保护数据隐私。具体而言，我们提出一种去中心化训练策略，将每个客户端的数据限制在其本地模型训练中；并提出一种联邦预探索方法，通过部分模型聚合来提升模型对未见环境的泛化能力。在 R2R 和 RxR 数据集上的大量结果表明，在我们的 FedVLN 框架下，去中心化 VLN 模型在保护已见环境隐私的同时取得了与集中式训练相当的结果，而联邦预探索在保留未见环境隐私的同时显著优于集中式预探索。