通过训练期间改变特征实现模型权重的高效学习
机器学习
2020-02-24 v1 计算机视觉与模式识别
机器学习
摘要
在本文中，我们提出了一种在训练期间动态改变特征的机器学习模型。我们的主要动机是在训练过程中以较小代价更新模型，将描述性较弱的特征替换为来自大型特征池的新特征。主要好处在于，与通常做法相反，我们无需从零开始训练新模型，而是可以保留已学到的权重。该过程允许扫描大型特征池，同时保持模型复杂度，从而在相同训练时间内提高模型精度。我们在包括线性回归与基于神经网络的训练在内的若干经典机器学习场景中展示了方法的有效性。作为面向信号处理的具体分析，我们在 MNIST 数据库上针对数字分类成功测试了我们的方法，将单像素与像素对强度作为可能特征。
引用
@article{arxiv.2002.09249,
title = {Efficient Learning of Model Weights via Changing Features During Training},
author = {Marcell Beregi-Kovács and Ágnes Baran and András Hajdu},
journal= {arXiv preprint arXiv:2002.09249},
year = {2020}
}