连接算法信息论与机器学习：一种核学习的新途径
机器学习
2024-04-11 v3 信息论
math.IT
机器学习
摘要
机器学习（ML）与算法信息论（AIT）从不同的视角看待复杂性。我们通过采用 AIT 的视角，考察 AIT 与核方法（在 ML 中十分普遍）之间的接口，具体针对核岭回归中通过稀疏核流（Sparse Kernel Flows）方法从数据学习核的问题。特别地，通过审视最小描述长度（MDL）与机器学习中的正则化（RML）之间的异同，我们证明稀疏核流方法是从数据学习核所自然应采用的方法。该方法与 MDL 原则天然契合，相比现有对交叉验证的依赖提供了更稳健的理论基础。研究揭示，推导稀疏核流无需统计方法；相反，可直接处理码长与复杂性——这些 AIT 核心的概念。由此，该方法为使用 AIT 的工具重构机器学习算法打开了大门，旨在为其提供更坚实的理论基础。
引用
@article{arxiv.2311.12624,
title = {Bridging Algorithmic Information Theory and Machine Learning: A New Approach to Kernel Learning},
author = {Boumediene Hamzi and Marcus Hutter and Houman Owhadi},
journal= {arXiv preprint arXiv:2311.12624},
year = {2024}
}
备注
An earlier version of this paper appeared at https://www.researchgate.net/publication/371875631_A_note_on_learning_kernels_from_data_from_an_Algorithmic_Information_Theoretic_point_of_view. arXiv admin note: text overlap with arXiv:2111.13037, arXiv:2007.05074