软机械手多模态数据融合的持续学习

持续学习（CL）指算法能够在不断获取环境新知识的同时，保持已有知识的能力。在一个数据模态上训练的模型，当遇到不同模态时，往往难以正常工作。一种直接的方法可能是通过拼接其特征来融合两种模态，并在融合数据上进行训练。然而，这需要每次遇到新领域时都从头重新训练模型。在本文中，我们引入一种能够通过利用类增量学习和域增量学习场景来逐步学习不同数据模态的持续学习算法，在一个数据稀缺的人工环境中实现，该环境拥有大量非独立同分布（non-iid）的无标签数据。该算法高效，只需存储每个类的原型。我们在一个具有挑战性的定制多模态数据集上评估了该算法的有效性，该数据集包含来自软气压式机械手的触觉数据，以及从视频序列中提取的非平稳目标图像的视觉数据。此外，我们在该数据集和Core50数据集上进行消融研究，以突出算法不同组成部分的贡献。为进一步证明该算法的鲁棒性，我们进行了使用软机械手和外部独立摄像头 setup 的实时目标分类实验，所有操作均在机器人操作系统（ROS）框架下同步进行。