面向基于生物信息学的机器学习的 Anderson 加速
机器学习
2023-08-25 v2 人工智能
摘要
Anderson 加速（AA）是一种众所周知的加速迭代算法收敛的方法，在包括深度学习与优化在内的多个领域有应用。尽管在这些领域广受欢迎，AA 在经典机器学习分类器中的有效性尚未被充分研究。尤其是表格数据对深度学习模型构成独特挑战，而已知经典机器学习模型在此类场景中表现更优。然而，这些模型的收敛分析受到的关注有限。为弥补这一研究空白，我们实现了一种融合 AA 以支持向量机（SVM）分类器变体，以加速收敛。我们在多个生物学领域数据集上评估了带与不带 Anderson 加速的 SVM 性能，表明随着迭代次数增加，AA 的使用显著改善收敛并降低训练损失。我们的发现为 Anderson 加速在简单机器学习分类器训练中的潜力提供了有前景的视角，并强调了进一步研究的重要性。通过展示 AA 在此设置中的有效性，我们旨在启发更多探索 AA 在经典机器学习中应用的研究。
引用
@article{arxiv.2302.00347,
title = {Anderson Acceleration For Bioinformatics-Based Machine Learning},
author = {Sarwan Ali and Prakash Chourasia and Murray Patterson},
journal= {arXiv preprint arXiv:2302.00347},
year = {2023}
}
备注
Accepted in KDH-2023: Knowledge Discovery in Healthcare Data (IJCAI Workshop)