解决神经网络中语义与视觉对齐的不一致问题
计算机视觉与模式识别
2023-06-05 v1 机器学习
摘要
在图像分类任务中，神经网络主要依赖视觉模式。在鲁棒的网络中，我们期望视觉上相似的类别具有相似的表征。我们考虑两类问题：语义相似类别在视觉上不相似，以及非相似类别之间存在视觉相似性。我们提出一种数据增强技术，旨在更好地将具有任意（非视觉）语义关系的语义相似类别对齐。我们利用近期基于扩散的语义混合工作来生成两个类别的语义混合体，并将这些混合体作为增强数据加入训练集。我们通过评估模型在对抗扰动数据上的性能来检验该方法是否提升了语义对齐，其思路是：对攻击者而言，将一个类别切换到表征相似的类别应当更容易。结果表明，使用我们所提出的数据增强方法时，语义相似类别的对齐程度有所提升。
引用
@article{arxiv.2306.01148,
title = {Addressing Discrepancies in Semantic and Visual Alignment in Neural Networks},
author = {Natalie Abreu and Nathan Vaska and Victoria Helus},
journal= {arXiv preprint arXiv:2306.01148},
year = {2023}
}