重新思考面向多样化任务的神经操作
机器学习
2021-11-05 v2 人工智能
计算机视觉与模式识别
数值分析
数值分析
机器学习
摘要
AutoML 的一个重要目标是，在尚未充分探索的领域中对新任务自动完成神经网络的设计。受此目标驱动，我们研究如何使用户能够根据其特定领域的数据发现合适的神经操作。我们引入了一种称为 XD-Operations 的操作搜索空间，它模仿标准多通道卷积的归纳偏置，同时具有更强的表达能力：我们证明该空间包含了多个应用领域中的许多具名操作。从 ResNet 等任何标准骨干网络出发，我们展示了如何将其转化为关于 XD 操作的搜索空间，以及如何使用简单的权重共享方案遍历该空间。在一系列多样化任务——求解偏微分方程、蛋白质折叠的距离预测以及音乐建模——上，我们的方法一致地产生比基线网络误差更低的模型，且往往甚至低于专家设计的领域特定方法的误差。
引用
@article{arxiv.2103.15798,
title = {Rethinking Neural Operations for Diverse Tasks},
author = {Nicholas Roberts and Mikhail Khodak and Tri Dao and Liam Li and Christopher Ré and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2103.15798},
year = {2021}
}
备注
NeurIPS 2021