Forte 的匮乏：极少有搜索问题显著有利于你的算法
机器学习
2017-04-20 v2 信息论
机器学习
math.IT
摘要
将机器学习视为一种搜索，我们证明了对于固定算法而言，有利问题的比例受到严格限制，因此没有任何单一算法能在大部分问题上表现良好。我们的结果解释了为何我们必须年复一年地开发新的学习方法，或者转向那些既灵活又对超参数敏感的高度参数化模型。我们进一步给出了搜索算法期望性能的上界，该上界是目标与信息资源（例如训练数据集）之间互信息的函数，从而证明了某些类型的依赖性对于机器学习的重要性。最后，我们表明算法的每次查询期望成功概率在数学上等价于在某种分布（称为搜索策略）下的单次查询成功概率，并证明了有利策略的比例同样受到严格限制。因此，无论是固定搜索算法并考虑所有可能的问题，还是固定搜索问题并考察所有可能的搜索策略，有利的匹配都极其罕见。任何算法的 forte（优势）在量化上都是受限的。
引用
@article{arxiv.1609.08913,
title = {The Famine of Forte: Few Search Problems Greatly Favor Your Algorithm},
author = {George D. Montanez},
journal= {arXiv preprint arXiv:1609.08913},
year = {2017}
}