在无记忆持续深度神经网络中以角距离有效防止语义漂移
机器学习
2021-12-20 v1
摘要
终身机器学习或持续学习模型试图通过在一系列任务中积累知识来进行增量学习。因此，这些模型学习得更好、更快。它们被用于必须与人类或任何动态环境交互的各种智能系统中，例如聊天机器人和自动驾驶汽车。无记忆方法更常用于在其架构内容纳来自任务的输入信息的深度神经网络中。这使得它们能够在所有已见任务上表现良好。这些模型存在语义漂移或可塑性-稳定性困境。现有模型使用 Minkowski 距离度量来决定冻结、更新或复制哪些节点。这些距离度量无法提供更好的节点分离，因为它们容易受到高维稀疏向量的影响。在我们提出的方法中，我们使用角距离来评估单个节点中的语义漂移，这提供了更好的节点分离，从而在稳定性和可塑性之间实现了更好的平衡。所提出的方法通过在标准数据集上保持更高的准确率，优于 state-of-the-art 模型。
引用
@article{arxiv.2112.09175,
title = {Effective prevention of semantic drift as angular distance in memory-less continual deep neural networks},
author = {Khouloud Saadi and Muhammad Taimoor Khan},
journal= {arXiv preprint arXiv:2112.09175},
year = {2021}
}
备注
5 pages, 3 figures