Hedging 并非万能：应对杂乱输入的在线学习简单基线
机器学习
2024-12-31 v2 人工智能
摘要
处理杂乱的流数据（例如来自边缘设备的数据）是一个具有挑战性的问题。随着时间的推移，传入的数据会变得不一致，出现缺失、错误或新的输入反复出现的情况。因此，这要求模型必须具备可靠性。近期解决该问题的方法依赖于基于 hedging 的解决方案，并需要诸如辅助 dropout、分叉架构和复杂的网络设计等专门元素。我们观察到，hedging 可以归约为加权残差连接的一种特例；这促使我们用普通的自注意力来近似它。在这项工作中，我们提出了 HapNet，这是一种简单且可扩展的基线方法，它不需要在线反向传播，并且能够适应不同的输入类型。现有所有方法都局限于固定窗口的缩放；然而，我们引入了一个更复杂的问题，即在可变窗口下进行缩放，此时数据在位置上变得不相关，且现有方法无法解决该问题。我们证明，所提方法的一个变体甚至可以适用于这种复杂场景。我们在五个基准上对所提方法进行了广泛评估，发现其具有竞争力的性能。
引用
@article{arxiv.2409.10242,
title = {Hedging Is Not All You Need: A Simple Baseline for Online Learning Under Haphazard Inputs},
author = {Himanshu Buckchash and Momojit Biswas and Rohit Agarwal and Dilip K. Prasad},
journal= {arXiv preprint arXiv:2409.10242},
year = {2024}
}