输入逆凸神经网络
机器学习
2024-08-06 v4 神经与进化计算
摘要
连通的决策边界在图像分割、聚类、alpha 形状或定义 n 维空间中的区域等若干任务中是有用的。然而,机器学习文献缺乏利用神经网络生成连通决策边界的方法。对逆凸函数(凸函数的一种推广)进行阈值化可生成此类决策边界。本文提出两种利用神经网络构造逆凸函数的方法。第一种方法基于用梯度裁剪-梯度惩罚(GCGP)约束神经网络,即对梯度进行裁剪与惩罚。相反,第二种方法基于逆凸函数与可逆函数和凸函数复合之间的关系。我们采用连通性作为一种基本解释方法,并创建基于连通区域的分类器。我们表明多个基于连通集的分类器可逼近任意分类函数。在实验部分,我们将方法用于小规模数据集上基于 1-vs-all 模型集成以及单一多类模型的分类任务。实验表明,基于连通集的分类器相较普通神经网络分类器无任何劣势,反而增强了可解释性。我们还对逆凸函数与连通集在可解释性和网络态射方面的性质进行了广泛研究,并在玩具与真实数据集上实验。我们的研究表明,逆凸函数对于理解并应用输入空间的局部性与连通性至关重要,这有助于多种下游任务。
引用
@article{arxiv.2106.08748,
title = {Input Invex Neural Network},
author = {Suman Sapkota and Binod Bhattarai},
journal= {arXiv preprint arXiv:2106.08748},
year = {2024}
}
备注
45 pages, 23 figures, 10 tables