用于噪声图像分类的处理学习因果Transformer
计算机视觉与模式识别
2023-10-31 v2 人工智能
机器学习
图像与视频处理
摘要
当前顶尖的基于深度学习(DL)的视觉模型主要依赖于探索和利用训练数据样本与其关联标签之间的固有相关性。然而,一个已知的实践挑战是它们在由不同情况(如伪相关、无关上下文、域偏移和对抗攻击)引起的“噪声”数据上性能下降。在本工作中,我们将“噪声存在”这一二元信息作为处理(treatment)引入图像分类任务,通过联合估计其处理效应来提升预测准确率。受因果变分推断的启发,我们提出了一种基于Transformer的架构——处理学习因果Transformer(TLT),它使用潜在生成模型从当前观测输入中估计鲁棒的特征表示以用于噪声图像分类。根据估计的噪声水平(建模为二元处理因子),TLT分配由所设计的因果损失训练出的相应推断网络进行预测。我们还创建了融合广泛噪声因素(如目标遮挡、风格迁移和对抗扰动)的新噪声图像数据集用于性能基准测试。TLT在噪声图像分类中的优越性能进一步由若干反驳评估指标所验证。作为副产品,TLT还改进了用于感知噪声图像的视觉显著性方法。
引用
@article{arxiv.2203.15529,
title = {Treatment Learning Causal Transformer for Noisy Image Classification},
author = {Chao-Han Huck Yang and I-Te Danny Hung and Yi-Chieh Liu and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2203.15529},
year = {2023}
}
备注
Accepted to IEEE WACV 2023. The first version was finished in May 2018