用于改进系统建模的误差自相关目标函数
机器学习
2021-05-12 v2 机器人学
机器学习
摘要
深度学习模型被训练以最小化模型输出与实际值之间的误差。典型代价函数均方误差(MSE)源于最大化加性独立同分布高斯噪声的对数似然。然而，最小化MSE未能最小化残差的交叉相关性，导致模型在训练集外(泛化)的过拟合与较差的外推。本文引入一种“白化”代价函数，即Ljung-Box统计量，它不仅最小化误差，还最小化误差间的相关性，确保拟合强制兼容独立同分布(i.i.d)高斯噪声模型。结果显示循环神经网络(RNNs)(1d)与图像自编码器(2d)的泛化能力显著提升。具体而言，我们考察了模拟与实际机械系统中系统辨识的时间相关性，并考察了视觉自编码器中的空间相关性，以证明白化目标函数带来更好的外推——这一性质对可靠控制系统极为可取。
引用
@article{arxiv.2008.03582,
title = {Error Autocorrelation Objective Function for Improved System Modeling},
author = {Anand Ramakrishnan and Warren B. Jackson and Kent Evans},
journal= {arXiv preprint arXiv:2008.03582},
year = {2021}
}
备注
7 pages, 3 Figures, 8 Tables