无免费午餐定理对元归纳的启示

G. Schurz 近期的重要著作认识到无免费午餐定理（NFL）对（元）归纳问题具有重大影响。在此我回顾 NFL 定理，强调它们不仅涉及均匀先验的情形——它们证明（粗略地说）存在“同样多的先验”，使得任意归纳算法 $A$ 的泛化能力优于某归纳算法 $B$，反之亦然。然而重要的是，除 NFL 定理外，还存在许多“免费午餐”定理。特别地，NFL 定理仅可用于比较归纳算法 $A$ 的边际期望性能与归纳算法 $B$ 的边际期望性能。而有一类丰富的免费午餐关注归纳算法泛化误差之间的统计相关性。正如我所描述的，Schurz 所倡导作为“休谟问题之解”的元归纳算法，正是此类基于归纳算法泛化误差相关性的免费午餐的一个例子。最后我指出，Schurz 所倡导的、在比特频率而非比特模式上均匀的先验，与统计物理中数千次实验以及最大熵程序在归纳推理中的巨大成功相矛盾。