假设的最优选择是最弱的,而非最短的
人工智能
2024-04-12 v4 机器学习
逻辑
摘要
若 和 是满足 的集合,泛化可理解为从 推断出一个足以构造 的假设。人们可能从 推断出任意数量的假设,但其中只有部分能够泛化到 。如何知道哪些假设可能泛化?一种策略是选择最短的,将压缩信息的能力等同于泛化能力(智能的代理指标)。我们在具身认知的数学形式化背景下考察这一点。我们表明,压缩既非最大化性能(以假设泛化的概率衡量)的必要条件,也非充分条件。我们提出一个与长度或简洁性无关的代理指标,称为弱度(weakness)。我们证明,若任务均匀分布,则不存在这样一种代理指标:其在所有任务上至少与弱度最大化表现相当,同时在至少一个任务上严格更优。在二进制算术背景下比较最大弱度与最小描述长度的实验中,前者的泛化率为后者的 至 倍。我们认为这证明弱度是一个好得多的代理指标,并解释了 Deepmind 的 Apperception Engine 为何能有效泛化。
引用
@article{arxiv.2301.12987,
title = {The Optimal Choice of Hypothesis Is the Weakest, Not the Shortest},
author = {Michael Timothy Bennett},
journal= {arXiv preprint arXiv:2301.12987},
year = {2024}
}
备注
Published at the 16th Conference on Artificial General Intelligence, Stockholm, 2023