AutoNumerics-Zero：自动发现最先进的数学函数
神经与进化计算
2023-12-15 v1 机器学习
数值分析
数值分析
摘要
计算机通过将超越函数近似为有限精度指令的组合来计算它们。例如，指数函数可以通过泰勒级数计算。这些近似方法是由数学家经过几个世纪发展起来的，他们强调任意精度的可实现性。然而，计算机操作在少数有限精度类型上，例如流行的float32。在本研究中，我们表明，当追求有限精度时，现有近似方法可以被一个简单的进化算法从零开始自动发现的程序所超越。特别是在实数上，我们的方法可以近似指数函数，在给定操作次数下达到比先前方法高出几个数量级的精度。更实际地，在float32数上并限制误差小于1 ULP时，相同方法通过生成触发更好XLA/LLVM编译路径的代码，实现了相对于基线的加速。换句话说，在这两种情况下，进化搜索了可能程序的广阔空间，无需数学知识，首次发现了先前未知的、针对高精度的优化近似。我们还提供了证据表明这些结果不仅限于指数函数。超越函数的普遍性表明我们的方法有潜力降低科学计算应用的成本。
引用
@article{arxiv.2312.08472,
title = {AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions},
author = {Esteban Real and Yao Chen and Mirko Rossini and Connal de Souza and Manav Garg and Akhil Verghese and Moritz Firsching and Quoc V. Le and Ekin Dogus Cubuk and David H. Park},
journal= {arXiv preprint arXiv:2312.08472},
year = {2023}
}