论更简单的机器学习模型之存在性

寻找准确但复杂的模型几乎总是比寻找准确而简单的模型更容易。寻找各种形式的最优、稀疏、准确模型（具有整数系数的线性模型、决策集、规则列表、决策树）通常是 NP 难的。我们常常不知道寻找更简单模型是否值得，因此不去费心寻找。在这项工作中，我们提出一个重要的实践问题：在显式搜索之前，能否证明或表明准确而简单的模型可能存在？我们假设简单而准确的模型经常存在的一个重要原因，是 Rashomon 集的大小通常很大，其中 Rashomon 集是指来自某一函数类的几乎同等准确的模型集合。如果 Rashomon 集很大，它包含众多准确模型，或许其中至少有一个是我们所期望的简单模型。在这项工作中，我们正式提出 Rashomon 比率作为学习问题简单性的一个新度量，它依赖于函数类和数据集。Rashomon 比率是准确模型集合的体积与假设空间体积之比，它不同于统计学习理论中的标准复杂度度量。研究 Rashomon 比率所得的洞见提供了一种在寻找更简单模型之前检查其是否可能存在的简便方法，即检查若干不同的机器学习方法是否在数据上取得相似性能。从这个意义上说，Rashomon 比率是理解准确而简单的模型为何以及何时可能存在的有力工具。如果正如我们在本工作中所假设的，许多真实世界数据集具有很大的 Rashomon 集，其影响是深远的：这意味着简单或可解释的模型可能经常用于高风险决策而不损失准确性。