深度先验的神经架构搜索：迈向无灾难性干扰的持续学习
机器学习
2021-04-15 v1
摘要
本文中我们分析了无参数推断的神经网络结构的分类性能。利用神经架构搜索，我们通过实验证明可以找到随机权重的架构（一种深度先验），使得线性分类器表现与完全训练的深度对应模型相当。通过消融实验，我们排除了赢得权重初始化彩票的可能性，并确认合适的深度先验不需要额外的推断。在持续学习的扩展中，我们研究了无灾难性干扰增量学习的可能性。在类别源自同一数据分布的假设下，仅在类别子集上找到的深度先验被证明可通过训练简单线性分类器来区分更多类别。
引用
@article{arxiv.2104.06788,
title = {Neural Architecture Search of Deep Priors: Towards Continual Learning without Catastrophic Interference},
author = {Martin Mundt and Iuliia Pliushch and Visvanathan Ramesh},
journal= {arXiv preprint arXiv:2104.06788},
year = {2021}
}
备注
Accepted for publication at CVPR-W 2021, Workshop on Continual Learning in Computer Vision (CLVision). First two authors have equal contribution