无数据共享的数据评估
机器学习
2022-03-15 v2
摘要
改进机器学习模型性能最有效的方法是获取额外的训练数据。寻求从数据所有者处获取相关训练数据的模型所有者需要在购买前对数据进行评估。然而，在没有正式协议的情况下，数据所有者不愿共享数据。由此产生的进退两难局面阻碍了高效数据市场的形成。本文提出增加一个无需数据所有者与模型所有者之间数据共享的数据评估阶段。具体而言，我们使用多方计算来实现基于私有数据计算的评估函数。评估值作为指导以促进数据选择与交易。我们提出了一种基于前向影响函数的高效数据评估方法，通过其当前模型上的一阶损失减少来近似数据价值。该方法不需要额外的超参数或重新训练。我们表明，在私有环境下，尽管存在标签噪声、类别不平衡和缺失数据，前向影响函数在高质量评估与所需计算之间提供了诱人的权衡。我们的工作旨在启发一个激励领域特定训练数据高效、公平交换的开放市场。
引用
@article{arxiv.2012.06430,
title = {Data Appraisal Without Data Sharing},
author = {Mimee Xu and Laurens van der Maaten and Awni Hannun},
journal= {arXiv preprint arXiv:2012.06430},
year = {2022}
}