残差计算的喷射展开
机器学习
2024-10-10 v1 人工智能
计算与语言
符号计算
摘要
我们引入了一种利用喷射（jets）扩展残差计算图的框架。喷射是截断泰勒级数的通用算子。我们的方法提供了一种系统性的方法，用于分离不同计算路径对模型预测贡献的影响。与蒸馏、探测或早期解码等现有技术不同，我们的扩展仅依赖模型本身，无需数据、训练或模型采样。我们展示了本框架如何为“逻辑镜头”提供依据，并揭示了递归残差深度中存在（超）指数路径结构，从而开启了若干应用。这些应用包括从模型计算中提取 n-gram 统计信息来描绘变压器大语言模型，以及索引模型的毒性知识水平。我们的ethods 使数据无关的残差计算分析成为可能，从而在模型可解释性、开发和评估方面发挥作用。
引用
@article{arxiv.2410.06024,
title = {Jet Expansions of Residual Computation},
author = {Yihong Chen and Xiangxiang Xu and Yao Lu and Pontus Stenetorp and Luca Franceschi},
journal= {arXiv preprint arXiv:2410.06024},
year = {2024}
}