一种基于 MML 的评估（随机）逻辑理论复杂度的工具

理论评估是机器学习、科学发现、逆向工程、决策制定、软件工程、设计、人文科学等众多领域的关键问题。如果我们有一组能够解释同一组现象的理论，我们需要一个标准来选择最佳理论。当然，存在许多可能的标准。模型简洁性是理论评估中最常见的标准之一。最小消息长度 (MML) 是一种根据给定证据或数据评估理论的可靠方法。理论可以用特定或通用（图灵完备）语言表达。一阶逻辑，特别是逻辑编程，是一种图灵完备语言。评估用图灵完备语言描述的理论或程序的简洁性，远比计算行数或位数困难得多。事实上，这是计算其柯尔莫哥洛夫复杂度的问题，而这是不可计算的。文献中很少有工作能够为图灵完备语言提出准确有效的近似方法。在本文中，我们提出了首个用于逻辑程序的通用 MML 编码方案。利用该方案，我们可以量化编码（或发送）一个理论、一组数据或在给定理论下发送相同数据所需的信息位数。作为上述方案的实现，我们展示了一款软件工具，它能够针对一组示例对一组替代（随机）理论（程序）进行编码和评估。我们说明了该工具在各种非概率和概率场景中的应用。