异常检测中的“聪明汉斯”效应

当学习到的模型基于“错误”的特征产生正确预测时，就会发生“聪明汉斯”效应。这种削弱 ML 模型泛化能力且无法被标准验证技术检测到的效应，在监督学习中经常被观察到，其中训练算法利用了数据中的虚假相关性。无监督学习中是否也会出现聪明汉斯效应，以及以何种形式出现，迄今为止几乎没有受到关注。因此，本文将贡献一种可解释人工智能（XAI）方法，该方法能够突出显示不同类型的流行异常检测模型所使用的相关特征。我们的分析表明，聪明汉斯效应在异常检测中广泛存在，并以许多（意想不到的）形式出现。有趣的是，在这种情况下，观察到的聪明汉斯效应与其说是由于数据，不如说是由于异常检测模型本身的结构使其无法检测到真正相关的特征，即使有大量的数据点可用。总体而言，我们的工作对在实际应用中不受限制地使用现有异常检测模型提出了警告，但也指出了摆脱聪明汉斯困境的可能出路，具体而言，即允许多个异常模型相互抵消其各自的结构弱点，以共同产生一个更好、更值得信赖的异常检测器。