基于余弦相似度的对抗过程

两个深度神经网络之间的对抗过程是训练鲁棒模型的一种有前景的方法。本文提出一种使用余弦相似度的对抗过程，而传统对抗过程基于反转的分类交叉熵（CCE）。当用于训练识别模型时，该对抗过程引发两个判别模型的竞争：一个用于主任务（如说话人识别或图像识别），另一个用于辅助任务（如信道识别或域识别）。具体而言，对抗过程通过消除输入中的辅助信息来降低辅助模型的性能，假设这些辅助信息可能会降低主模型的性能。传统对抗过程通过最大化辅助模型的 CCE 来降低其性能。我们研究了通过应用此类对抗过程消除信道或域信息（辅助信息）以训练鲁棒判别模型的框架。然而，我们通过实验发现，使用最大化 CCE 的过程并不能保证辅助模型的性能下降。相反，在所提出的基于余弦相似度的对抗过程中，通过搜索与辅助模型正交的特征空间，可以更高效地降低辅助模型的性能。在说话人识别和图像识别上的实验表明，我们找到了使辅助模型输出独立于输入的特征，并且主模型的性能得到了提升。