Aux-Drop：利用辅助丢弃处理在线学习中的杂乱输入
机器学习
2023-06-02 v2 人工智能
摘要
许多基于在线学习的真实世界应用产生的流式数据本质上是杂乱的，即包含缺失特征、特征随时间过时、在后续时间点出现新特征，以及输入特征总数不明确。这些挑战使得为此类应用构建可学习系统十分困难，且深度学习中几乎不存在解决该问题的工作。本文提出 Aux-Drop，一种用于在线学习的辅助丢弃正则化策略，可有效处理杂乱输入特征。Aux-Drop 将常规丢弃正则化方案适配于杂乱输入特征空间，确保最终输出受此类特征混乱出现的影响最小。它有助于防止尤其是辅助特征与基础特征之间的共适应，并降低输出对模型任意辅助输入的强依赖。这有助于在 certain 特征随时间消失或需要对新特征建模的场景中实现更好的学习。Aux-Drop 的有效性已通过对 SOTA 基准数据集（包括 Italy Power Demand、HIGGS、SUSY 和多个 UCI 数据集）的广泛数值实验得到证明。代码可在 https://github.com/Rohit102497/Aux-Drop 获取。
引用
@article{arxiv.2303.05155,
title = {Aux-Drop: Handling Haphazard Inputs in Online Learning Using Auxiliary Dropouts},
author = {Rohit Agarwal and Deepak Gupta and Alexander Horsch and Dilip K. Prasad},
journal= {arXiv preprint arXiv:2303.05155},
year = {2023}
}
备注
Accepted at Transactions on Machine Learning Research (TMLR). Link: https://openreview.net/pdf?id=R9CgBkeZ6Z