融合多模态数据中的跨领域知识以解决物理世界问题

人工智能的普及催生了多种应用，这些应用弥合了数字世界与物理世界之间的鸿沟。由于物理环境过于复杂，无法通过单一的信息获取方法进行建模，因此融合由不同来源（如传感器、设备、系统和人）生成的多模态数据来解决现实世界中的问题至关重要。遗憾的是，为每个问题部署新资源从零开始收集原始数据既不可行也不可持续。因此，当问题所在领域的数据不足时，融合其他领域已有的多模态数据中的知识至关重要。我们称之为跨领域知识融合。现有研究侧重于在单一领域内融合多模态数据，假设来自不同数据集的知识是内在对齐的；然而，这种假设在跨领域知识融合的场景中可能不成立。在本文中，我们正式定义了跨领域多模态数据融合问题，讨论了其独特的挑战、差异以及超越单一领域数据融合的优势。我们提出了一个由领域层、链接层、模型层和数据层组成的四层框架，回答了三个关键问题：“融合什么”、“为什么能融合”以及“如何融合”。领域层为给定问题从不同领域选择相关数据。链接层揭示了超越特定模型结构的知识对齐哲学。模型层基于处理数据的基本机制提供了两种知识融合范式。数据层将不同结构、分辨率、尺度和分布的数据转化为一致的表示，该表示可输入到 AI 模型中。借助这一框架，我们能够设计出有效融合跨领域多模态数据的解决方案，以解决现实世界问题。