论函数逼近的界限
机器学习
2019-09-16 v1 计算复杂性
神经与进化计算
机器学习
摘要
在机器学习中，神经架构搜索（NAS）这一子领域近来因其能改进人工设计模型而获得研究关注。然而，求此问题的精确解所需的计算开销通常难以承受，且搜索空间的设计仍需人工干预。在本文中我们试图建立一个形式化框架，由此能更好地理解 NAS 相对于其搜索空间的计算界限。为此，我们首先用函数序列重新表述函数逼近问题，称之为函数逼近（FA）问题；然后我们证明，无论搜索空间如何，设计出一种对所有函数以零误差求解 FA 的过程在计算上都是不可行的。我们还表明，若搜索空间中存在特定类别的函数，此类误差将最小。随后，我们证明机器学习作为一个数学问题是 FA 的一种解决策略，尽管并非有效策略，并进一步描述了该方法的更强版本：近似架构搜索问题（a-ASP），它是 NAS 的数学等价物。我们利用本文框架及文献中的结果，描述了 a-ASP 能在多项式时间内潜在地以穷举搜索般的效果求解 FA 的条件。
引用
@article{arxiv.1908.09942,
title = {On the Bounds of Function Approximations},
author = {Adrian de Wynter},
journal= {arXiv preprint arXiv:1908.09942},
year = {2019}
}
备注
Accepted as a full paper at ICANN 2019. The final, authenticated publication will be available at https://doi.org/10.1007/978-3-030-30487-4_32