用于模块化深度学习的递归草图
机器学习
2019-08-08 v2 计算与语言
数据结构与算法
机器学习
摘要
我们提出一种机制，用于计算复杂模块化深度网络如何处理其输入的草图（简洁摘要）。该草图总结了网络输入输出的重要信息，可用于快速识别输入的关键组件与汇总统计。此外，草图是递归的，可被展开以识别这些子组件的下层子组件，依此类推，捕捉潜在的复杂 DAG 结构。这些草图可优雅地擦除；即便我们随机擦除草图的一部分，其余部分仍保留原始草图中的“高权重”信息。草图也可组织于仓库中以隐式形成“知识图谱”；可快速检索仓库中与感兴趣草图相关的草图；以此方式排列，草图也可通过在草图空间中寻找新簇来学习涌现概念。最后，在我们希望学习一个真实深度网络的场景中，我们表明用这些草图增广输入/输出对可从理论上使学习变得更容易。
引用
@article{arxiv.1905.12730,
title = {Recursive Sketches for Modular Deep Learning},
author = {Badih Ghazi and Rina Panigrahy and Joshua R. Wang},
journal= {arXiv preprint arXiv:1905.12730},
year = {2019}
}
备注
Published in ICML 2019