SPARLING：学习具有极稀疏激活的潜在表示
机器学习
2026-03-04 v3
摘要
现实世界的过程通常包含可建模为极稀疏激活张量的中间状态。在这项工作中，我们分析了这种稀疏且局部的潜在中间变量（我们称之为基元）的可识别性。我们证明了基元可识别性定理，该定理指出，在某些假设下，仅通过降低端到端误差即可精确识别这些基元。值得注意的是，我们不假设参数的可识别性，而是假设由局部模型输出的潜在中间表示的可识别性，从而允许这些表示是输入的任意复杂函数。此外，我们提供了Sparling算法，该算法使用一种新型信息瓶颈，能够实现其他技术无法达到的激活稀疏水平。我们通过实验证实，极稀疏性对于实现良好的中间状态建模是必要的。在合成领域，即使我们仅进行端到端训练，也能以超过90%的准确率精确地定位中间状态，最多只存在特征排列上的差异。
引用
@article{arxiv.2302.01976,
title = {SPARLING: Learning Latent Representations with Extremely Sparse Activations},
author = {Kavi Gupta and Osbert Bastani and Armando Solar-Lezama},
journal= {arXiv preprint arXiv:2302.01976},
year = {2026}
}
备注
10 pages, 6 figures