Robusta：基于强化学习的鲁棒自动机器学习特征选择框架
机器学习
2021-01-18 v1 人工智能
摘要
已有若干自动机器学习（AutoML）方法被提出以自动化机器学习（ML）流程，例如搜索 ML 模型架构与超参数。然而，这些 AutoML 流水线仅关注提升良性样本的学习准确率，而忽略了 ML 模型在对抗攻击下的鲁棒性。随着 ML 系统在各类关键任务应用中的日益使用，提升 ML 系统的鲁棒性已变得至关重要。本文中，我们提出首个鲁棒 AutoML 框架 Robusta——基于强化学习（RL）——来执行特征选择，旨在选出能带来准确且鲁棒 ML 系统的特征。我们展示了一种 0-1 鲁棒损失的变体可通过基于 RL 的组合搜索在特征选择场景中被直接优化。此外，我们采用基于特征打分度量的启发式方法加速搜索过程，这些度量包括互信息分数、基于树分类器的特征重要性分数、F 分数以及积分梯度（IG）分数，及其组合。我们进行了大量实验，结果表明所提框架相比其他特征选择方法，在保持良性样本上具有竞争力的准确率的同时，能将模型鲁棒性提升高达 22%。
引用
@article{arxiv.2101.05950,
title = {Robusta: Robust AutoML for Feature Selection via Reinforcement Learning},
author = {Xiaoyang Wang and Bo Li and Yibo Zhang and Bhavya Kailkhura and Klara Nahrstedt},
journal= {arXiv preprint arXiv:2101.05950},
year = {2021}
}