HEAL：脑启发的高维高效主动学习
机器学习
2024-02-20 v1
摘要
受人类大脑卓越学习能力的启发，高维计算 (HDC) 作为一种新型计算范式涌现，它利用高维向量表示和运算进行类脑轻量级机器学习 (ML)。HDC 的实际部署在广泛的应用中显著提升了学习效率，超越了当前的深度 ML 方法。然而，提高监督学习中 HDC 分类器的数据效率仍是一个未决问题。在本文中，我们介绍了高维高效主动学习 (HEAL)，这是一种专为 HDC 分类量身定制的新型主动学习 (AL) 框架。HEAL 通过不确定性和多样性引导的采集主动标注未标记数据点，从而实现更高效的数据集标注并降低人工成本。与传统仅支持基于深度神经网络 (DNN) 构建的分类器的 AL 方法不同，HEAL 无需梯度或概率计算即可运行。这使其能够无缝集成到任何现有的 HDC 分类器架构中。HEAL 的关键设计是一种通过带有先验超向量的轻量级 HDC 集成来估计 HDC 分类器不确定性的新方法。此外，通过利用超向量作为原型（即紧凑表示），我们为 HEAL 开发了一种额外指标，用于在每批数据中选择多样化的样本进行标注。我们的评估表明，HEAL 在 AL 质量上超越了一系列基线方法，并且在采集速度上显著快于许多由 BNN 驱动或多样性引导的 AL 方法，每批采集运行时间实现了 11 倍至 40,000 倍的加速。
引用
@article{arxiv.2402.11223,
title = {HEAL: Brain-inspired Hyperdimensional Efficient Active Learning},
author = {Yang Ni and Zhuowen Zou and Wenjun Huang and Hanning Chen and William Youngwoo Chung and Samuel Cho and Ranganath Krishnan and Pietro Mercati and Mohsen Imani},
journal= {arXiv preprint arXiv:2402.11223},
year = {2024}
}