随机后向欧拉法：一种用于 $k$-均值聚类的隐式梯度下降算法
最优化与控制
2018-05-23 v3 机器学习
机器学习
摘要
本文针对经典的 -均值问题提出了一种隐式梯度下降算法。隐式梯度步（或称后向欧拉步）通过随机不动点迭代求解，其中我们在每次迭代中随机采样一个小批量梯度。传递到下一个梯度步的是不动点轨迹的平均值。我们将所提出的随机后向欧拉法与近期用于改善深度神经网络训练的熵随机梯度下降（Entropy-SGD）联系起来。在各种合成数据集和真实数据集上的数值实验表明，与 -均值算法相比，所提算法提供了更好的聚类结果，因为它降低了目标函数（簇内距离），并且对初始化具有更强的鲁棒性。
引用
@article{arxiv.1710.07746,
title = {Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering},
author = {Penghang Yin and Minh Pham and Adam Oberman and Stanley Osher},
journal= {arXiv preprint arXiv:1710.07746},
year = {2018}
}