HAT-CL：一个面向持续学习的任务硬注意力 PyTorch 库
机器学习
2024-02-06 v2 人工智能
摘要
灾难性遗忘——即神经网络在学习新任务时丢失已获知识的现象——对持续学习构成重大挑战。任务硬注意力（HAT）机制已显示出缓解该问题的潜力，但其实际实现因易用性、兼容性问题以及对已有网络复用的缺乏支持而复杂化。本文中，我们介绍 HAT-CL，一种用户友好、兼容 PyTorch 的 HAT 机制重设计。HAT-CL 不仅自动化梯度操作，还简化了将 PyTorch 模块转换为 HAT 模块的过程。它通过提供可无缝集成至现有架构的全面模块套件来实现这一点。此外，HAT-CL 提供与 TIMM 库平滑集成的即用型 HAT 网络。除对 HAT 的重设计与重实现外，我们还引入了新颖的 HAT 掩码操作技术，其在各类实验中均展现出持续的改进。我们的工作为 HAT 机制的更广泛应用铺平道路，开启了跨多样模型与应用的持续学习新可能。
引用
@article{arxiv.2307.09653,
title = {HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning},
author = {Xiaotian Duan},
journal= {arXiv preprint arXiv:2307.09653},
year = {2024}
}