基于 TRUST-TECH 的优化与学习方法
人工智能
2007-12-27 v1 计算工程、金融与科学
数学软件
数值分析
神经与进化计算
摘要
机器学习领域中出现的许多问题涉及非线性，且往往要求用户获得全局最优解而非局部最优解。优化问题内在于机器学习算法中，因此许多机器学习方法继承自优化文献。作为众所周知的初始化问题，所需的理想参数集显著依赖于给定的初始化值。最近开发的 TRUST-TECH（TRansformation Under STability-reTaining Equilibria CHaracterization，保持稳定性平衡下的变换表征）方法论系统地探索参数子空间，以获得完整的局部最优解集。在本论文工作中，我们提出了基于 TRUST-TECH 的方法来解决若干优化和机器学习问题。在解空间中交替重复两个阶段，即局部阶段和邻域搜索阶段，以提高解的质量。我们的方法在合成数据集和真实数据集上进行了测试，使用这一新颖框架的优势得到了清晰体现。该框架不仅降低了对初始化的敏感性，还允许从业者灵活地使用各种针对特定感兴趣问题表现良好的全局和局部方法。此外，还研究了进化算法和平滑算法等其他分层随机算法，并提出了将这些方法与 TRUST-TECH 结合的框架，且在多个测试系统上进行了评估。
引用
@article{arxiv.0712.4126,
title = {TRUST-TECH based Methods for Optimization and Learning},
author = {Chandan K. Reddy},
journal= {arXiv preprint arXiv:0712.4126},
year = {2007}
}
备注
PHD Thesis