中文

假设的最优选择是最弱的,而非最短的

人工智能 2024-04-12 v4 机器学习 逻辑

摘要

AABB 是满足 ABA \subset B 的集合,泛化可理解为从 AA 推断出一个足以构造 BB 的假设。人们可能从 AA 推断出任意数量的假设,但其中只有部分能够泛化到 BB。如何知道哪些假设可能泛化?一种策略是选择最短的,将压缩信息的能力等同于泛化能力(智能的代理指标)。我们在具身认知的数学形式化背景下考察这一点。我们表明,压缩既非最大化性能(以假设泛化的概率衡量)的必要条件,也非充分条件。我们提出一个与长度或简洁性无关的代理指标,称为弱度(weakness)。我们证明,若任务均匀分布,则不存在这样一种代理指标:其在所有任务上至少与弱度最大化表现相当,同时在至少一个任务上严格更优。在二进制算术背景下比较最大弱度与最小描述长度的实验中,前者的泛化率为后者的 1.11.155 倍。我们认为这证明弱度是一个好得多的代理指标,并解释了 Deepmind 的 Apperception Engine 为何能有效泛化。

关键词

引用

@article{arxiv.2301.12987,
  title  = {The Optimal Choice of Hypothesis Is the Weakest, Not the Shortest},
  author = {Michael Timothy Bennett},
  journal= {arXiv preprint arXiv:2301.12987},
  year   = {2024}
}

备注

Published at the 16th Conference on Artificial General Intelligence, Stockholm, 2023