基于小批量抽样和层次性哈希的可扩展图注意力实例选择方法
机器学习
2025-09-25 v3
摘要
实例选择（IS）解决了在保持信息特征的同时减小数据集大小的关键挑战，随着数据集规模扩展到数百万个实例，变得日益重要。当前的 IS 方法在捕捉高维空间中的复杂关系方面往往难以处理，并且随大数据集规模而增长。本文引入了一种基于图注意力的实例选择（GAIS）方法，通过图表示中的结构关系利用注意力机制识别信息丰富的实例。我们提出了两种可扩展图构建方法：基于距离的小批量抽样技术通过战略性批量处理实现数据集规模无关的复杂度；以及层次性哈希方法通过随机投影实现高效相似性计算。小批量方法通过分层抽样保持类别分布，而层次性哈希方法通过单级、多级和多视图变体在不同粒度上捕捉关系。跨 39 个数据集的实验表明，GAIS 在保持或优于现有 SOTA IS 方法的性能方面实现了 96% 以上的降采样率。研究结果表明，基于距离的小批量方法在大规模数据集上提供最佳效率，而多视图变体在复杂的高维数据上表现突出，表明基于注意力的重要性评分能够有效识别在维持决策边界的同时又能避免计算昂贵成对比较的关键实例。
引用
@article{arxiv.2502.20293,
title = {Scalable Graph Attention-based Instance Selection via Mini-Batch Sampling and Hierarchical Hashing},
author = {Zahiriddin Rustamov and Ayham Zaitouny and Nazar Zaki},
journal= {arXiv preprint arXiv:2502.20293},
year = {2025}
}
备注
Accepted for publication in AI Open