KALAHash：基于类知识的深度低资源适应哈希
计算机视觉与模式识别
2024-12-30 v1
摘要
深度哈希广泛用于大规模近似最近邻搜索，因其存储和搜索效率。然而，现有深度哈希方法主要依赖大量训练数据，留下了面对低资源适应场景的挑战相对不足。该设置涉及仅利用极少数训练样本适配预训练模型到下游任务。我们的初步基准测试显示，当前方法因有限训练样本导致分布迁移而性能显著下降。为解决这些挑战，我们提出了类校准LoRA (CLoRA)，一种新颖的即插即用方法，通过利用类级文本知识嵌入动态构建低秩适应矩阵。CLoRA有效地将先验类知识作为锚点，实现参数高效微调，同时保持原始数据分布。此外，我们提出了知识引导的离散优化 (KIDDO)，用于利用类知识弥补视觉信息的稀缺性并增强哈希码的判别性。大量实验表明，我们提出的方法KALAHash（知识锚定低资源适应哈希）显著提升了检索性能，在低资源场景下实现了4倍的数据效率。
引用
@article{arxiv.2412.19417,
title = {KALAHash: Knowledge-Anchored Low-Resource Adaptation for Deep Hashing},
author = {Shu Zhao and Tan Yu and Xiaoshuai Hao and Wenchao Ma and Vijaykrishnan Narayanan},
journal= {arXiv preprint arXiv:2412.19417},
year = {2024}
}
备注
Accepted at AAAI 2025