无偏学习与搜索的徒劳性
机器学习
2019-07-16 v1 机器学习
摘要
基于将机器学习视为搜索的观点，我们证明了学习中偏置的必要性，量化了偏置（相对于可能的数据集集合，或更一般地，信息资源来度量）在提高成功概率方面的作用。对于给定的对固定目标的偏置程度，我们证明了有利信息资源的比例具有严格的上界。此外，我们证明了偏置是一个守恒量，因此没有算法能够同时偏向许多不同的目标。因此，偏置编码了权衡。任务的成功概率也可以用几何方法来度量，即实际任务所满足的条件与算法在其偏置中所假设的条件之间的吻合角。最后，在固定的信息资源集合上寻找有利的偏置分布被证明是困难的，除非资源集合本身相对于给定的任务和算法已经是有利的。
引用
@article{arxiv.1907.06010,
title = {The Futility of Bias-Free Learning and Search},
author = {George D. Montanez and Jonathan Hayase and Julius Lauw and Dominique Macias and Akshay Trikha and Julia Vendemiatti},
journal= {arXiv preprint arXiv:1907.06010},
year = {2019}
}