CryptoTensors：一种用于高安全性模型分发的轻量级大型语言模型文件格式
密码学与安全
2025-12-09 v2 人工智能
摘要
为提升大型语言模型(LLM)在各种领域特定应用中的性能，医疗保健、法律和金融等敏感数据正被用于私有定制或微调这些模型。这些私有适配的LLM被视为个人隐私资产或企业知识产权。因此，在部署和分发过程中保护模型权重并保持严格保密性已成为至关重要的问题。然而，现有的模型格式和部署框架对保密性、访问控制或与可信硬件的安全集成几乎不提供内置支持。当前保护模型部署的方法要么依赖计算代价高昂的密码学技术，要么依赖严格控制的基础设施。尽管这些方法在特定场景下可能有效，但它们难以且成本高昂地实现广泛部署。在本文中，我们引入了CryptoTensors，一种用于机密LLM分发的安全且格式兼容的文件结构。作为广泛采用的Safetensors格式的扩展，CryptoTensors集成了张量级加密和嵌入式访问控制策略，同时保留了惰性加载和部分反序列化等关键特性。它支持透明解密和自动化密钥管理，通过最小开销实现灵活的许可和安全模型执行。我们实现了一个概念验证库，在序列化和运行时场景下基准测试了其性能，并验证了其与现有推理框架的兼容性，包括Hugging Face Transformers和vLLM。我们的结果凸显了CryptoTensors作为在真实和广泛部署中保护LLM权重的轻量级、高效且开发者友好的解决方案。
引用
@article{arxiv.2512.04580,
title = {CryptoTensors: A Light-Weight Large Language Model File Format for Highly-Secure Model Distribution},
author = {Huifeng Zhu and Shijie Li and Qinfeng Li and Yier Jin},
journal= {arXiv preprint arXiv:2512.04580},
year = {2025}
}