Multi-QuAD：面向可靠多模态分类的多层次质量自适应动态网络

多模态机器学习在许多场景中取得了显著进展，但其可靠性因样本质量差异而受到影响。本文发现，现有的可靠多模态分类方法不仅未能准确估计数据质量，还缺乏针对样本特定深度和参数的动态网络，以实现可靠推断。为此，提出一种新的多模态可靠分类框架，称为基于多层次质量自适应动态多模态网络（Multi-QuAD）。Multi-QuAD 首先采用基于无噪声原型和无分类器设计的新方法，可可靠地在模态和特征水平上估计每个样本的质量。随后，通过基于这些质量估计的全局置信度归一化深度（GCND）机制实现样本特定的网络深度。通过在模态和样本之间归一化深度，GCND 有效缓解了挑战性模态输入对动态深度可靠性的影响。此外，Multi-QuAD 通过基于特征层质量驱动的层级贪心参数（LGP）机制提供样本自适应的网络参数。GCND 中的跨模态层级贪心策略首次为具有可变体系结构的多模态网络设计了可靠的参数预测范式。在四个数据集上的实验表明，Multi-QuAD 在分类性能和可靠性方面显著优于当前最先进的方法，展现出强大的适应性，能够处理质量各异的数据。