字典学习：带反馈稀疏叠加特征的学习复杂度
星系天体物理
2025-02-18 v2 天体物理仪器与方法
摘要
深度网络成功的关键归因于其能够捕获表示空间中的潜在特征。在本工作中，我们探讨了通过来自代理（例如大型语言模型LLM）以相对triplet比较形式的反馈，能否高效检索模型所学习的底层特征。这些特征可能代表各种构造，包括LLM中的字典或马哈捷诺距离协方差矩阵。我们分析了在稀疏设置下学习特征矩阵的反馈复杂度。我们的结果在代理被允许构建激活值时建立了紧密界限，并在代理反馈仅限于分布信息的稀疏场景中展示了强有力的上界。我们通过在两个不同应用上的实验验证了理论发现：来自递归特征机（Recursive Feature Machines）的特征恢复以及从稀疏自编码器提取字典，这些自编码器是在大型语言模型上训练的。
引用
@article{arxiv.2502.05406,
title = {Mapping the Filamentary Nebula of NGC 1275 with Multiwavelength SITELLE Observations},
author = {Carter Lee Rhea and Julie Hlavacek-Larrondo and Marie-Lou Gendron-Marsolais and Benjamin Vigneron and Megan Donahue and Auriane Thilloy and Laurie Rousseau-Nepton and Mar Mezcua and Norbert Werner and Jorge Barrera-Ballesteros and Hyunseop Choi and Alastair Edge and Andrew Fabian and G. Mark Voit},
journal= {arXiv preprint arXiv:2502.05406},
year = {2025}
}
备注
Submitted to AJ