分布式与民主化学习：理念与研究挑战
人工智能
2020-10-15 v2 机器学习
机器学习
摘要
由于海量数据和处理能力的可用，当前人工智能（AI）系统在解决复杂任务方面十分有效。然而，尽管 AI 在不同领域取得成功，设计能够真正模仿人类认知能力（如通用人工智能）的 AI 系统这一问题在很大程度上仍是开放的。因此，许多新兴的跨设备 AI 应用将需要从传统集中式学习系统转向大规模分布式 AI 系统，以协作执行多个复杂学习任务。在本文中，我们提出一种称为民主化学习（Dem-AI）的新设计理念，其目标是构建依赖受限学习能力的、连接良好但学习受限的分布式学习智能体自组织的大规模分布式学习系统。相应地，受人类社会群体启发，所提出的 Dem-AI 系统中的专业化智能体群体以层次结构自组织，以更高效地集体执行学习任务。如此，Dem-AI 学习系统可基于我们称之为专业化与泛化过程的双重性进行演化与自我调节。在这方面，我们受多个跨学科领域启发，提出一个作为实现未来 Dem-AI 系统指南的参考设计。据此，我们在设计中引入四种底层机制：可塑性-稳定性转换机制、自组织层次结构化、专业化学习与泛化。最后，我们为现有学习方法确立可能的扩展与新挑战，以在新的 Dem-AI 设定下提供更好可扩展、灵活且更强大的学习系统。
引用
@article{arxiv.2003.09301,
title = {Distributed and Democratized Learning: Philosophy and Research Challenges},
author = {Minh N. H. Nguyen and Shashi Raj Pandey and Kyi Thar and Nguyen H. Tran and Mingzhe Chen and Walid Saad and Choong Seon Hong},
journal= {arXiv preprint arXiv:2003.09301},
year = {2020}
}