NNSight 与 NDIF： democratizing 开源重量基础模型内部

我们引入 NNsight 和 NDIF 两种技术，二者协同工作，使科学家能够研究非常大型神经网络所学习的表示和计算。NNSight 是一个开源系统，扩展了 PyTorch 以引入延迟远程执行。国家深度推理 fabric (NDIF) 是一个可扩展的推理服务，执行 NNsight 请求，允许用户共享 GPU 资源和预训练模型。这一技术得益于干预图 (Intervention Graph) 架构，将实验设计与模型运行解耦。整个框架提供透明且高效的访问深度神经网络内部（如大型语言模型 LLM）的途径，而无需以个体托管定制模型的成本或复杂度。我们对机器学习文献进行了定量调查，揭示了大规模 AI 内部研究存在不断扩大的差距。我们演示了设计和使用该框架以弥补这一差距的能力，使其能够在大型模型上实现一系列研究方法。最后，我们进行基准测试，比较了与以前方法的性能。代码、文档和教程均可在 https://nnsight.net/ 获取。