基于点互信息的数据集正式估值

数据在现代人工智能的进步中发挥着核心作用，高质量数据已成为模型性能提升的关键驱动力。这促使近年来发展出原则且有效的数据修饰方法。然而，现有方法大多依赖启发式方法，其是否真正有效仍然不清晰。例如，评估已训练模型在特定基准测试上表现的标准方法，可能鼓励对仅类似测试集的数据赋予高分。这一问题体现了Goodhart定律：当度量成为目标时，它就不再是好的度量。为解决此问题，本文提出一种基于信息论的框架，用于评估数据修饰方法。我们将数据集的质量定义为其对真实模型参数信息的可获取性，通过信息可获取性的Blackwell排序进行形式化。在该排序下，Blackwell定理确保更具信息性的数据可产生在真实分布上的预期损失更低的优化模型。为衡量信息性，我们证明，Blackwell排序可由精确互信息（在策划后数据与测试数据之间）来确定。为估计此互信息，我们引入一种新方法，通过在嵌入数据集上训练贝叶斯模型并从模型参数的后验分布中计算互信息。实验在真实数据上表明，我们的互信息基于评估方法会对降低数据集信息性的策划策略赋予适当较低的分数，而传统的基于测试得分的评估方法可能偏好那些对测试集过拟合但损害训练数据信息性的策划策略。