超越单模态学习：多模态集成在终身学习中的重要性

尽管人类在持续学习（CL）方面表现出色，但深度神经网络（DNN） exhibits 灾难性遗忘。大脑这一显著特点使其能够有效进行学习和推断，就是利用多模态进行学习和推断，而这在 DNN 中鲜有探讨。因此，我们研究了多模态在缓解遗忘方面的作用和相互作用，并引入了一个多模态持续学习基准。我们的发现表明，利用来自多个模态的多个视角和互补信息，使模型能够学习更准确和更稳健的表征。这使得模型对特定模态的规律性更不易受到影响，显著缓解了遗忘。此外，我们观察到各个模态对分布迁移的鲁棒性存在差异。最后，我们提出了一种方法，通过利用每个模态数据点之间的数据点之间的关系结构相似性来整合和对齐来自不同模态的信息。该方法为单模态和多模态推断都建立了一个强大的基线。我们的研究为进一步探索多模态在促进 CL 中发挥作用的作用提供了有前景的案例，并为未来研究提供了标准基准。