SKYNET：一种用于天文学机器学习的高效且鲁棒的神经网络训练工具
天体物理仪器与方法
2015-06-17 v2 机器学习
神经与进化计算
数据分析、统计与概率
机器学习
摘要
我们发布了通用神经网络训练算法 SkyNet 的首个公开版本。这款高效且鲁棒的机器学习工具能够训练大型深度前馈神经网络（包括自编码器），用于各种监督和无监督学习应用，如回归、分类、密度估计、聚类和降维。SkyNet 使用一种“预训练”方法获得一组经验上接近优良解的网络参数，随后使用牛顿法的正则化变体进行进一步优化，其中正则化水平可自动确定和调整；后者利用二阶导数信息改善收敛性，但无需评估或存储完整的 Hessian 矩阵，而是使用快速近似方法计算 Hessian-向量积。这种方法的组合使得能够训练那些使用标准反向传播技术难以优化的复杂网络。SkyNet 采用了自然防止过拟合的收敛准则，并包含一种用于估计网络输出精度的快速算法。通过对若干玩具问题以及天文学问题的应用，展示了 SkyNet 的实用性和灵活性，这些天文学问题聚焦于从模糊和噪声图像中恢复结构、识别伽马射线暴以及星系图像的压缩与去噪。SkyNet 软件采用标准 ANSI C 实现并使用 MPI 完全并行化，可在 http://www.mrao.cam.ac.uk/software/skynet/ 获取。
引用
@article{arxiv.1309.0790,
title = {SKYNET: an efficient and robust neural network training tool for machine learning in astronomy},
author = {Philip Graff and Farhan Feroz and Michael P. Hobson and Anthony N. Lasenby},
journal= {arXiv preprint arXiv:1309.0790},
year = {2015}
}
备注
19 pages, 21 figures, 7 tables; this version is re-submission to MNRAS in response to referee comments; software available at http://www.mrao.cam.ac.uk/software/skynet/