JSDoop 与 TensorFlow.js：基于志愿分布式网络浏览器的神经网络训练
分布式、并行与集群计算
2021-03-05 v1 机器学习
网络与互联网体系结构
摘要
2019 年，全球约 57% 的人口拥有互联网宽带接入。此外，移动宽带订阅数达 59 亿，即每位用户平均 1.3 个订阅。因此，全球用户拥有巨大的互联计算能力。同时，据估计互联网用户每天在线时间超过六个半小时。然而，尽管时间很长，这些资源在一天中的大部分时间处于闲置状态。因此，利用这些资源提供了一个有趣的机会。在本研究中，我们介绍了 JSDoop，一个利用此机会的原型实现。具体而言，我们提出了一个基于志愿网络浏览器的高性能计算库。JSdoop 将问题划分为任务，并使用不同队列来分发计算。然后，志愿者访问问题网页并在其网络浏览器中开始处理任务。我们使用我们的方案和 TensorFlow.js 进行了概念验证，训练了一个预测文本的循环神经网络。我们在计算机集群和多达 32 名志愿者的环境中进行了测试。实验结果表明，在分布式网络浏览器中训练神经网络是可行且准确的，具有高可扩展性，并且是一个有趣的研究领域。
引用
@article{arxiv.1910.07402,
title = {JSDoop and TensorFlow.js: Volunteer Distributed Web Browser-Based Neural Network Training},
author = {José Á. Morell and Andrés Camero and Enrique Alba},
journal= {arXiv preprint arXiv:1910.07402},
year = {2021}
}