S$^3$：结构稀疏规范
机器学习
2026-04-14 v1 人工智能
摘要
我们提出结构稀疏规范(S)(Structured Sparsity Specification)，一种用于定义、组合和实现结构稀疏模式的代数框架。S通过三个组成部分来指定稀疏性：通过布局组合实现张量重塑的视图(View)，定义原子修剪单元的块(Block) specification，以及稀疏决策范围(Scope)。块(Block)和范围(Scope)支持跨张量的耦合，以实现协调化稀疏化。S能够精确指定从细粒度N:M模式到粗粒度通道修剪的多样化稀疏结构，并与最优脑损伤(OBD)和外科手术(OBS)无缝集成。我们对该框架进行数学形式化建模，在标准模式上演示其表达性，并通过基于S构建的结构化OBS和OBD实现进行实验验证，这些实现在常见配置下在输出重建方面超越了 established 的二阶启发式方法。
引用
@article{arxiv.2604.11315,
title = {S$^3$: Structured Sparsity Specification},
author = {Ayoub Ghriss},
journal= {arXiv preprint arXiv:2604.11315},
year = {2026}
}
备注
8 pages main text, 12 pages appendix