面向踏记流中的张量积采样数据结构
机器学习
2025-10-07 v1 机器学习
摘要
本文研究了人工智能中大规模注意力模型计算挑战，采用流式环境中的重要性抽样方法。灵感来自 抽样器的经典定义以及大语言模型（LLM）中注意力方案的最新进展，我们提出了注意力抽样器的定义。我们的 метод显著降低了传统注意力机制的计算负担。我们从理论角度分析注意力抽样器的有效性，包括空间和更新时间。此外，我们的框架在各种模型架构和领域中展现出可扩展性和广泛适用性。
引用
@article{arxiv.2510.03678,
title = {Towards Sampling Data Structures for Tensor Products in Turnstile Streams},
author = {Zhao Song and Shenghao Xie and Samson Zhou},
journal= {arXiv preprint arXiv:2510.03678},
year = {2025}
}