可微异常检测实现鲁棒深度多模态分析
计算机视觉与模式识别
2023-10-09 v1 人工智能
计算与语言
机器学习
摘要
通常，深度网络模型在训练及对未见数据进行推理时纯属归纳式。因此，当此类模型用于预测时，众所周知它们往往无法捕捉群体层面上对象（或概念）之间存在的语义信息与隐式依赖关系。此外，尤其在大规模与含噪环境下，如何以友好反向传播的方式指定领域或先验模态知识仍不清楚。在本工作中，我们提出一种融合显式知识图的端到端视觉与语言模型。我们还利用隐式网络算子引入一种交互式分布外（OOD）层，该层用于过滤外部知识库带来的噪声。实践中，我们将模型应用于若干视觉与语言下游任务，包括不同数据集上的视觉问答、视觉推理与图文检索。实验表明，设计性能媲美 SOTA 结果但所需样本量与训练时间显著更少的模型是可行的。
引用
@article{arxiv.2302.05608,
title = {Differentiable Outlier Detection Enable Robust Deep Multimodal Analysis},
author = {Zhu Wang and Sourav Medya and Sathya N. Ravi},
journal= {arXiv preprint arXiv:2302.05608},
year = {2023}
}