面向可扩展高效智能体的稀疏训练理论
人工智能
2021-03-03 v1 机器学习
多智能体系统
神经与进化计算
摘要
人工智能的一项基本任务是学习。深度神经网络已被证明能完美应对所有学习范式，即监督、无监督和强化学习。然而，传统深度学习方法利用云计算设施，且不能很好地扩展到具有低计算资源的自主智能体。即使在云端，它们也受限于计算和内存限制，并且无法用于为假设具有数十亿神经元网络的智能体充分建模大型物理世界。近年来，新兴的稀疏训练课题解决了这些问题，它从零开始训练稀疏网络。本文讨论了稀疏训练的最新进展、其挑战与局限，同时引入了几个新的理论研究方向，有望缓解稀疏训练局限，将深度学习可扩展性推至远超当前边界。尽管如此，从现实世界视角使用智能电网案例研究讨论了理论进展在复杂多智能体设置中的影响。
引用
@article{arxiv.2103.01636,
title = {Sparse Training Theory for Scalable and Efficient Agents},
author = {Decebal Constantin Mocanu and Elena Mocanu and Tiago Pinto and Selima Curci and Phuong H. Nguyen and Madeleine Gibescu and Damien Ernst and Zita A. Vale},
journal= {arXiv preprint arXiv:2103.01636},
year = {2021}
}