异构架构多层感知机的 embarrassingly parallel 独立训练
机器学习
2022-06-20 v1
摘要
神经网络架构的定义是最关键且最具挑战性的任务之一。本文提出 ParallelMLPs。ParallelMLPs 是一种通过利用现代 CPU 和 GPU 的局部性原理与并行化能力，以并行方式训练多个具有不同神经元数与激活函数的独立多层感知机神经网络的流程。该技术的核心思想是使用一种改进矩阵乘法，以两次简单矩阵运算替代普通矩阵乘法，从而为梯度流动提供分离且独立的路径，其亦可应用于其他场景。我们在模拟数据集上评估了算法，变化样本数、特征数与批次大小，使用了 10,000 个不同模型。与串行方法相比，我们实现了 1 到 4 个数量级的训练加速。
引用
@article{arxiv.2206.08369,
title = {Embarrassingly Parallel Independent Training of Multi-Layer Perceptrons with Heterogeneous Architectures},
author = {Felipe Costa Farias and Teresa Bernarda Ludermir and Carmelo Jose Albanez Bastos-Filho},
journal= {arXiv preprint arXiv:2206.08369},
year = {2022}
}