基于约束的异步分布式学习
机器学习
2019-11-14 v1 最优化与控制
机器学习
摘要
本文研究了将约束学习（LfC）框架扩展至分布式环境，其中通过网络连接的多个参与方共同贡献学习过程。LfC 依赖“约束”这一通用概念将知识注入学习问题，并且由于其通用性，它处理可能非凸的约束，这些约束以硬性或软性方式实施。受分布式与约束非凸优化领域近期进展的启发，我们将（分布式）异步乘子法（ASYMM）应用于 LfC。研究表明，该方法支持如下场景：选定的约束（即知识）、数据以及学习过程的输出可本地存储于各计算节点而不与网络其余部分共享，从而为隐私保护型 LfC 的进一步研究开辟道路。约束充当网络共享内容与各节点私有内容之间的桥梁，且无需中央权威。我们在数字识别和文档分类这两个分布式真实场景中以两个实例展示了这些思想的适用性。
引用
@article{arxiv.1911.05473,
title = {Asynchronous Distributed Learning from Constraints},
author = {Francesco Farina and Stefano Melacci and Andrea Garulli and Antonio Giannitrapani},
journal= {arXiv preprint arXiv:1911.05473},
year = {2019}
}