基于 Softmax 的分类即 k-means 聚类：形式化证明、对对抗攻击的启示及基于质心裁剪的改进
机器学习
2020-01-08 v1 机器学习
摘要
我们形式化证明了 k-means 聚类与基于 softmax 激活层的神经网络预测之间的联系。在已有工作中，该联系仅被经验性分析，此前从未被数学推导。softmax 函数将变换后的输入空间划分为若干锥体，每个锥体包含一个类别。这等价于在该变换空间中于距原点等距处放置若干质心，并按数据点到这些质心的邻近度进行 k-means 聚类。softmax 只关心数据点落入哪个锥体，而不关心其在该锥体内距质心多远。我们形式化证明，具有较小 Lipschitz 模（对应于对对抗攻击的低易感性）的网络将数据点映射得更接近簇质心，从而映射到一个对 k-means 友好的空间。为利用该知识，我们提出基于质心的裁剪（Centroid Based Tailoring）作为神经网络最后一层中 softmax 函数的替代。所得的 Gauss 网络具有与传统网络相近的预测精度，但对单像素攻击的易感性更低；尽管本文主要贡献在理论层面，Gauss 网络也带来了经验性的辅助益处。
引用
@article{arxiv.2001.01987,
title = {Softmax-based Classification is k-means Clustering: Formal Proof, Consequences for Adversarial Attacks, and Improvement through Centroid Based Tailoring},
author = {Sibylle Hess and Wouter Duivesteijn and Decebal Mocanu},
journal= {arXiv preprint arXiv:2001.01987},
year = {2020}
}