类 DCA 算法及其加速版本并在数据可视化中的应用
最优化与控制
2018-06-27 v1 机器学习
数值分析
摘要
本文提出 DCA（凸函数之差算法，Difference of Convex functions Algorithm）的两个变体，用于求解带约束的可微函数与复合函数之和最小化问题，旨在提高 DCA 的收敛速度。在第一个变体类 DCA（DCA-Like）中，我们引入一种新技术来迭代修改目标函数的分解。这种连续分解可带来更好的主化，从而比基本 DCA 具有更好的收敛速度。随后我们将 Nesterov 加速技术融入类 DCA，得到第二个变体，称为加速类 DCA（Accelerated DCA-Like）。我们在 Kudyka-Lojasiewicz 假设下严格研究了两个变体的收敛性质与收敛速率。作为应用，我们将算法用于 t-分布随机邻域嵌入（t-distributed stochastic neighbor embedding）。在多个基准数据集上的数值实验表明了我们所提算法的有效性。
引用
@article{arxiv.1806.09620,
title = {A DCA-Like Algorithm and its Accelerated Version with Application in Data Visualization},
author = {Hoai An Le Thi and Hoai Minh Le and Duy Nhat Phan and Bach Tran},
journal= {arXiv preprint arXiv:1806.09620},
year = {2018}
}