多模态任务表示记忆库 vs. 异常检测中的灾难性遗忘
计算机视觉与模式识别
2025-02-11 v1
摘要
无监督连续异常检测 (UCAD) 面临多任务表示学习的重大挑战，现有方法 suffer于表示不完整和灾难性遗忘。与监督模型不同，无监督情境缺乏先验信息，难以有效区分冗余与互补的多模态特征。为此，我们提出一种多模态任务表示记忆库 (MTRMB) 方法，通过两项关键技术创新实现：一种基于关键提示的多模态知识 (KPMK) 机制，用于引导 BERT 与 ViT 之间跨模态特征交互；改进结构基于对比学习 (RSCL)，利用 Grounding DINO 和 SAM 生成精确分段掩码，将相同结构区域的特征拉近，将不同结构区域的特征推远。实验在 MVtec AD 和 VisA 数据集上表明，MTRMB 的卓越性，实现了在最低遗忘率下的平均检测准确率 0.921，显著优于最先进的方法。我们计划在 GitHub 上开源。
引用
@article{arxiv.2502.06194,
title = {Multimodal Task Representation Memory Bank vs. Catastrophic Forgetting in Anomaly Detection},
author = {You Zhou and Jiangshan Zhao and Deyu Zeng and Zuo Zuo and Weixiang Liu and Zongze Wu},
journal= {arXiv preprint arXiv:2502.06194},
year = {2025}
}