用于优化计算图的强化遗传算法学习
机器学习
2020-02-11 v4 机器学习
摘要
我们提出一种深度强化学习方法，用于在优化编译器中最小化神经网络计算图的执行代价。与早期基于学习的工作需要针对待优化同一图训练优化器不同，我们提出一种离线训练优化器、随后泛化至先前未见过的图且无需进一步训练的学习方法。这使得我们的方法能在数秒内而非数小时内对真实世界 TensorFlow 图产生高质量执行决策。我们考虑计算图的两项优化任务：最小化运行时间与峰值内存使用。与一广泛基线集相比，我们的方法在这两个任务上相对经典及其他基于学习的方法取得了显著改进。
引用
@article{arxiv.1905.02494,
title = {Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs},
author = {Aditya Paliwal and Felix Gimeno and Vinod Nair and Yujia Li and Miles Lubin and Pushmeet Kohli and Oriol Vinyals},
journal= {arXiv preprint arXiv:1905.02494},
year = {2020}
}
备注
Accepted to ICLR 2020 https://openreview.net/forum?id=rkxDoJBYPB