先验信息与计算能力在机器学习中的作用
机器学习
2022-11-04 v1 机器学习
摘要
科学在于提出假设，以经验证据对其进行检验，并仅保留未被证伪的假设。在演绎推理下，假设依据某一理论提出，并试图通过经验证据予以证伪；在归纳推理下，假设基于观察提出，与经验证据对照，并依据未被证伪的假设建立理论。当假设检验可借助定量数据完成时，可通过机器学习方法实现对照，其质量高度依赖于假设的复杂度，因而依赖于将先验信息恰当地引入假设集合，以在不丢失优良假设的前提下降低其复杂度。然而，机器学习工具一直在本体论工具主义实用观下被应用，该观点仅关注方法性能而非理解其行为，导致了未被充分理解的方法。在此背景下，我们探讨如何利用先验信息与计算能力解决学习问题：先验信息与对假设空间的精心设计具有结果可解释性的优势，而运用高计算能力则具有更高性能的优势。我们讨论了为何结合二者的方法从理解与性能角度看应表现更优，并主张开展机器学习基础理论研究，尤其是关于现代学习模型参数中如何识别分类器性质的研究。
引用
@article{arxiv.2211.01972,
title = {The role of prior information and computational power in Machine Learning},
author = {Diego Marcondes and Adilson Simonis and Junior Barrera},
journal= {arXiv preprint arXiv:2211.01972},
year = {2022}
}