具有非孤立不动点无界集的非双曲非线性映射的稳定性及其在机器学习中的应用
机器学习
2024-04-26 v2 动力系统
摘要
本文处理 SUCPA（通过先验适应的半无监督校准，Semi Unsupervised Calibration through Prior Adaptation）算法的收敛性分析，该算法由一阶非线性差分方程定义，最初开发用于校正监督机器学习分类器输出的分数。收敛性分析被作为动力系统问题处理，通过研究从该算法导出的非线性映射的局部与全局稳定性。该映射由指数函数和有理函数的复合定义，结果是一个具有非孤立不动点无界集的非双曲映射。因此，使用了一种非标准方法来解决收敛性分析，该方法包含一种特定的几何方法。对于二元分类问题（二维映射），我们严格证明了该映射是全局渐近稳定的。在真实世界应用上进行了数值实验，通过两个不同的分类问题来支持理论结果：使用大语言模型 (LLM) 进行的情感极性分类和猫狗图像分类。对于更多类别的情况，数值证据显示了该算法的相同行为，并通过一个自然语言推理示例进行了说明。实验代码可在以下仓库公开获取：https://github.com/LautaroEst/sucpa-convergence
引用
@article{arxiv.2401.03051,
title = {On the Stability of a non-hyperbolic nonlinear map with non-bounded set of non-isolated fixed points with applications to Machine Learning},
author = {Roberta Hansen and Matias Vera and Lautaro Estienne and Luciana Ferrer and Pablo Piantanida},
journal= {arXiv preprint arXiv:2401.03051},
year = {2024}
}