用于外推的神经网络超参数自动优化：来自芒果果实可见与近红外光谱的经验
图像与视频处理
2022-10-05 v1 机器学习
摘要
神经网络通过选择架构和超参数值进行配置；这一过程通常依赖专家直觉和手动调参，以寻找能够良好外推且不过拟合的配置。本文考虑用于配置在时间上外推的神经网络的自适应方法，应用于可见与近红外（VNIR）光谱领域。具体而言，我们研究（a）选择用于验证配置的样本和（b）使用集成模型的影响。大多数情况下，模型基于过去数据构建以预测未来。为鼓励神经网络模型外推，我们考虑在与测试集时间偏移相似的样本上验证模型配置。我们实验了三种验证集选择：（1）非测试数据随机取1/3（先前工作所用技术），（2）取最新1/3（按时间排序），以及（3）使用语义上有意义的子集。超参数优化依赖验证集估计测试集误差，但神经网络方差掩盖了真实误差值。集成平均——对多个神经网络取平均——可降低预测误差的方差。为测试这些方法，我们基于前3年VNIR光谱，对留出的一年（2018年）芒果收获季进行了综合研究。我们发现集成改善了最先进模型的方差与精度。此外，带与不带集成平均、以及每种验证集选择的超参数优化实验表明，当集成与最新1/3样本作为验证集结合时，可自动找到与最先进模型相当的神经网络配置。
引用
@article{arxiv.2210.01124,
title = {Automatic Neural Network Hyperparameter Optimization for Extrapolation: Lessons Learned from Visible and Near-Infrared Spectroscopy of Mango Fruit},
author = {Matthew Dirks and David Poole},
journal= {arXiv preprint arXiv:2210.01124},
year = {2022}
}