Leo Breiman、Rashomon效应与Occam困境

在著名的“两种文化”论文中，Leo Breiman对“数据模型”（考虑数据生成的建模）与“算法模型”（普通机器学习模型）这两种文化提出了富有远见的观点。我提供了对这些方法的现代视角。Breiman反对数据模型的关键论点之一是“Rashomon效应”，即存在许多不同但同样好的模型。Rashomon效应意味着数据建模者无法确定哪个模型生成了数据。相反，他支持数据模型的一个核心优势是简洁性，因为他声称存在一个“Occam困境”，即准确性与简洁性之间的权衡。经过25年强大计算机的发展，这一说法显然并非普遍成立，因为算法模型不必复杂也能准确；然而，有一些细微差别有助于解释Breiman的逻辑，具体来说，他所说的“简单”似乎仅指线性模型或未经优化的决策树。有趣的是，Rashomon效应是证明Occam困境无效的关键工具。值得肯定的是，Breiman当时没有现代计算机的优势，而借助现代计算机，我的观察更容易得出。Breiman对可解释性的目标与因果关系有些交织：更简单的模型有助于揭示哪些变量与结果存在因果关系。然而，我认为可以在不使用单一模型的情况下研究因果关系，无论这些模型是否简单。可解释性本身是有用的，我认为Breiman也知道这一点。从技术上讲，我的现代视角不属于Breiman的两种文化中的任何一种，但共享两者的目标——因果关系、简洁性、准确性——并表明这些目标可以通过其他方式实现，而不受Breiman所担心的限制。