基于泊松-纳尔斯-普兰克方程的通用多模态融合方法

以往的研究已显示出多模态融合领域的显著进展。然而，这些方法常常面临特征提取效能、数据完整性、特征维度一致性以及跨各种下游任务适应性等挑战。本文提出了一种通过泊松-纳尔斯-普兰克（PNP）方程实现的通用多模态融合方法（GMF），能够妥善解决上述问题。理论上，本文将传统多模态任务的优化目标通过整合信息熵与梯度反向步骤的流动进行重新表述。基于这些理论见解，应用 PNP 方程进行特征融合，通过物理学中带电粒子的框架重新思考多模态特征，并通过解离、浓度和重构来控制其运动。建立在这些理论基础之上，GMF 将由单模态特征提取器提取的特征解耦分为特定模态子空间和模态不变子空间，从而降低互信息，进而降低下游任务的熵。特征来源的可辨识性使该方法能够独立作为前端工作，无缝集成于简单的拼接后端，或作为其他模块的前置条件。实验结果表明，在多个下游任务上，所提出的 GMF 在保持较少参数和计算资源的同时，实现了接近最先进（SOTA）的准确率。此外，通过将 GMF 与高级融合方法集成，我们超越了 SOTA 结果。