HOPE：基于记忆与组合感知的 Hopfield 网络及软专家混合零样本学习框架
计算机视觉与模式识别
2025-03-11 v2
摘要
组合零样本学习（CZSL）已成为机器学习中的重要范式，旨在通过引入组合思维克服传统零样本学习的局限。传统零样本学习依赖预定义类嵌入，难以处理已见与未见类别的陌生组合。相比之下，组合零样本学习利用类别间固有的层次与结构关联，通过组合属性、组件或其他语义要素构建新类表示。本文提出一种新颖框架，首次将现代 Hopfield 网络与专家混合（Mixture of Experts，HOPE）相结合，对先前未见物体的组合进行分类。具体而言，现代 Hopfield 网络创建存储标签原型的记忆，并为给定输入图像识别相关标签。随后，专家混合模型将图像与相应原型整合，产生最终的组合分类。我们的方法在包括 MIT-States 和 UT-Zappos 在内的多个基准上取得 SOTA 性能。我们还考察了各组件对改进泛化的贡献。
引用
@article{arxiv.2311.14747,
title = {HOPE: A Memory-Based and Composition-Aware Framework for Zero-Shot Learning with Hopfield Network and Soft Mixture of Experts},
author = {Do Huu Dat and Po Yuan Mao and Tien Hoang Nguyen and Wray Buntine and Mohammed Bennamoun},
journal= {arXiv preprint arXiv:2311.14747},
year = {2025}
}