用于学习元特征的分布不变深度网络
机器学习
2020-10-20 v2 机器学习
摘要
近期从概率分布进行深度学习的进展成功地实现了基于分布样本的分类或回归，从而对样本置换保持不变。本文的第一个贡献是将这些神经架构扩展至同时对特征置换保持不变。所提出的称为 Dida 的架构继承了神经网络的通用逼近性质，并确立了其对输入分布的 Lipschitz 有界变换的鲁棒性。第二个贡献是在数据集层级定义的两个任务上实证且比较地展示该方法的优点。在两项任务中，Dida 学习支持（带标签）数据集表征的元特征。第一个任务在于预测两个数据集块是否提取自同一初始数据集。第二个任务在于预测在固定算法下（涵盖 k-NN、SVM、逻辑回归和带 SGD 的线性分类器）某一超参数配置所达到的学习性能是否支配另一配置，针对从 OpenML 基准测试套件提取的数据集。在两项任务中，Dida 均优于当前最优：DSS（Maron 等，2020）与 Dataset2Vec（Jomaa 等，2019）架构，以及基于文献中手工设计元特征的模型。
引用
@article{arxiv.2006.13708,
title = {Distribution-Based Invariant Deep Networks for Learning Meta-Features},
author = {Gwendoline De Bie and Herilalaina Rakotoarison and Gabriel Peyré and Michèle Sebag},
journal= {arXiv preprint arXiv:2006.13708},
year = {2020}
}