TabNAS：用于表格数据集神经架构搜索的拒绝采样方法
机器学习
2022-10-21 v4 机器学习
摘要
给定机器学习问题的最佳神经架构取决于许多因素：不仅是数据集的复杂性与结构，还包括延迟、计算、能耗等资源约束。针对表格数据集的神经架构搜索（NAS）是一个重要但未被充分探索的问题。先前为图像搜索空间设计的NAS算法将资源约束直接纳入强化学习（RL）奖励中。然而，对于表格数据集上的NAS，该协议常发现次优架构。本文提出TabNAS，一种利用受拒绝采样思想启发的RL控制器来处理表格NAS中资源约束的更新且更有效方法。TabNAS立即丢弃任何违反资源约束的架构，而不训练或从该架构中学习。TabNAS使用基于蒙特卡洛的修正对RL策略梯度更新进行补偿，以考虑这一额外过滤步骤。在多个表格数据集上的结果表明，TabNAS优于先前的奖励塑形方法：它找到了更好的且满足约束的模型。
引用
@article{arxiv.2204.07615,
title = {TabNAS: Rejection Sampling for Neural Architecture Search on Tabular Datasets},
author = {Chengrun Yang and Gabriel Bender and Hanxiao Liu and Pieter-Jan Kindermans and Madeleine Udell and Yifeng Lu and Quoc Le and Da Huang},
journal= {arXiv preprint arXiv:2204.07615},
year = {2022}
}
备注
NeurIPS 2022; 30 pages, 15 figures, 7 tables