面向数据偏移下多层感知机RR Lyrae分类器的信息正则化
天体物理仪器与方法
2023-03-14 v1 人工智能
机器学习
最优化与控制
摘要
近几十年来，机器学习为时序巡天数据处理与知识提取提供了有价值的模型与算法。已有多种分类器被提出并达到优异水平。然而，鲜有论文解决标注训练集中的数据偏移问题，即训练集与测试集数据分布不匹配。这一缺陷会损害对未知数据的预测性能。为此，我们提出一种可扩展且易适配的方法，基于信息正则化与专门训练流程，在多层感知机训练RR Lyrae分类器时缓解偏移问题。我们收集特征量的取值范围以构建先验知识的符号化表示，并用于建模信息正则化项。同时，设计两步反向传播算法将该知识整合进神经网络：每轮迭代中一步用于最小化分类误差，另一步用于保证正则化。我们的算法为每个损失函数定义参数子集（掩码）。该方法处理了遗忘效应，其源于训练期间这些损失函数（数据学习与专家知识学习）间的权衡。使用近期提出的RR Lyrae星偏移基准集实验，所提方法通过更可靠的分类器将基线模型最高超越3%。我们的方法为将特征知识融入人工神经网络以应对潜在数据偏移问题提供了新路径。
引用
@article{arxiv.2303.06544,
title = {Informative regularization for a multi-layer perceptron RR Lyrae classifier under data shift},
author = {Francisco Pérez-Galarce and Karim Pichara and Pablo Huijse and Márcio Catelan and Domingo Mery},
journal= {arXiv preprint arXiv:2303.06544},
year = {2023}
}