通向我们更简单模型之路始于噪声

Rashomon集是在给定数据集上表现近似同等良好的模型集合，而Rashomon比是给定假设空间中属于Rashomon集的模型所占比例。在刑事司法、医疗、借贷、教育及其他领域的表格数据集中，Rashomon比往往较大，这对更简单模型能否达到与更复杂模型相同精度具有实际意义。一个开放问题是Rashomon比为何往往较大。本工作中，我们提出并研究了一种数据生成过程的机制，结合分析者在学习过程中通常所作的选择，决定了Rashomon比的大小。具体而言，我们证明：通过从业者训练模型的方式，噪声更大的数据集会导致更大的Rashomon比。此外，我们引入一种称为模式多样性（pattern diversity）的度量，其捕捉Rashomon集中不同分类模式间预测的平均差异，并阐明其随标签噪声增大的原因。我们的结果解释了为何在复杂的、噪声更大的数据集上，更简单模型往往能与黑盒模型表现相当这一关键方面。