去中心化学习中的可扩展数据点价值评估
机器学习
2023-05-04 v1 人工智能
分布式、并行与集群计算
摘要
现有关于联邦学习与群学习中的数据价值评估研究聚焦于评估客户端贡献，且在跨客户端数据独立同分布（IID）时效果最佳。实践中，数据极少呈 IID 分布。我们开发了称为 DDVal 的方法用于去中心化数据价值评估，能够对联邦学习与群学习中的单个数据点进行价值评估。DDVal 基于共享深度特征并通过 k 近邻近似方法逼近 Shapley 值。这带来了新颖应用，例如可同时奖励为去中心化机器学习任务提供数据的机构与个人。通过 DDVal 对数据点的价值评估亦可得出关于机构贡献的层级结论，我们经实验表明 DDVal 在估计机构贡献方面的准确性高于现有联邦学习 Shapley 值近似方法。具体而言，在跨机构的 IID 与非 IID 数据分布中，其逼近 Shapley 值的余弦相似度达 99.969%，而最佳前沿方法分别为 99.301% 和 97.250%。DDVal 随数据点数量而非客户端数量扩展，具有对数线性复杂度。这比具有指数复杂度的现有方法扩展性更优。我们表明 DDVal 在拥有大量客户端且每客户端数据点少的分布场景中尤为高效——例如超过 16 个客户端且各含 8,000 个数据点。通过将 DDVal 集成至去中心化系统，我们表明其不仅适用于集中式联邦学习，也适用于去中心化群学习，这与 web3 等新兴互联网技术中关于奖励用户提供数据给算法的研究相契合。
引用
@article{arxiv.2305.01657,
title = {Scalable Data Point Valuation in Decentralized Learning},
author = {Konstantin D. Pandl and Chun-Yin Huang and Ivan Beschastnikh and Xiaoxiao Li and Scott Thiebes and Ali Sunyaev},
journal= {arXiv preprint arXiv:2305.01657},
year = {2023}
}