流式广义交叉熵
信号处理
2020-01-15 v2 信息论
math.IT
摘要
我们提出了一种针对数据流情形将自适应过程与一类熵估计器相结合的新方法。从由一批初始数据获得的初次估计出发，每一步通过结合先验知识与新观测（或观测块）来估计模型参数。这使得最大熵技术可扩展至动态环境，并能区分信号与误差的熵贡献。此外，在精确解难以求解时，它为标准 GME 问题提供了合适的近似。我们通过在不同样本量和批维度下进行数值模拟来测试该方法。进一步地，我们探索了流式 GCE 与标准 GCE 之间的中间情形，即考虑用不同大小的观测块更新估计，并纳入共线性效应。通过考虑流式 GCE 算法的一种变体，即加权流式 GCE，进一步探讨了时间在信号与误差熵贡献平衡中的作用。最后，我们讨论了结果：特别强调了该方法的主要特征、应用范围及未来展望。
引用
@article{arxiv.1811.09710,
title = {Streaming Generalized Cross Entropy},
author = {Mario Angelelli and Enrico Ciavolino and Paola Pasca},
journal= {arXiv preprint arXiv:1811.09710},
year = {2020}
}
备注
22 pages, 11 figures