跨传感器神经架构搜索的景观：它们差异有多大？
机器学习
2022-01-21 v2 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
随着神经架构搜索的迅速兴起，从搜索算法的角度理解其复杂性是可取的。近来，Traoré等人提出了适应度景观足迹(Fitness Landscape Footprint)框架，以帮助描述和比较神经架构搜索问题。它试图解释搜索策略为何在目标任务上可能成功、挣扎或失败。我们的研究在跨传感器（包括传感器数据融合）搜索的背景下利用了该方法论。特别地，我们将适应度景观足迹应用于So2Sat LCZ42这一真实世界图像分类问题，以识别对我们的神经网络超参数优化问题最有益的传感器。从适应度分布的角度看，我们的发现表明所有传感器的搜索空间行为相似：训练时间越长，总体适应度越大，且景观更平坦（更不崎岖、偏差更小）。就传感器而言，其所能实现的适应度越好（Sentinel-2），搜索轨迹越好（更平滑、持续性更高）。结果还表明，对于能被搜索空间较好拟合的传感器（Sentinel-2与融合），搜索行为非常相似。
引用
@article{arxiv.2201.06321,
title = {Landscape of Neural Architecture Search across sensors: how much do they differ ?},
author = {Kalifou René Traoré and Andrés Camero and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2201.06321},
year = {2022}
}
备注
This work is under review for a conference publication