增长式表示学习

机器学习因其学习日益复杂任务的能力而持续流行。然而,对于许多监督模型,数据分布的变化或新事件的出现会导致模型性能严重下降。用更新后的数据从头重训模型可能耗费大量资源,或根据组织或系统的限制而不可行。持续学习方法试图使模型适应新类而非重训。然而,许多此类方法没有新类检测方法,或对类的分布做出假设。在本文中,我们开发了一种基于注意力的高斯混合模型,称为 GMAT,可有或无标签地学习可解释的 data 表示。我们将该方法与现有神经架构搜索技术结合,通过训练的迭代增长过程,开发了一种以最优表示数检测新事件的算法。我们展示了我们的方法能够在无标签或关于标签分布的假设下学习数据的新表示。我们还额外开发了一种方法,使模型可利用标签更准确地构建表示。最后,我们展示了我们的方法可通过从已学表示中回放样本来避免灾难性遗忘。