面向可靠多模态分类的测试时自适应层次共加强去噪网络

可靠学习多模态数据（例如多组学数据）是医学诊断等安全关键应用中广泛关注的议题。然而，由多模态噪声引起的低质量数据为该领域带来了主要挑战，导致现有方法面临两个关键局限：首先，它们难以处理异构数据噪声，阻碍鲁棒的多模态表征学习；其次，在遇到先前未遇到的噪声时，缺乏足够的适应性和泛化能力。为此，我们提出了测试时自适应层次共加强去噪网络（TAHCD）。一方面，TAHCD引入了自适应稳定子空间对齐和样本自适应置信度对齐，可靠地去除异构噪声。它们在全局和实例级别上分别考虑噪声，并实现了对模态特定噪声和跨模态噪声的联合去除，实现稳健学习。另一方面，TAHCD引入了测试时协作增强，通过无标签的方式自适应地更新模型以应对输入噪声，从而提高泛化能力。实验在多个基准数据集上表明，所提方法在分类性能、鲁棒性和泛化能力方面均优于当前最先进的可靠多模态学习方法。