Jasper-Token-Compression-600M技术报告
介观与纳米尺度物理
2026-05-21 v2
摘要
本技术报告介绍了开源Jasper-Token-Compression-600M模型的训练方法和评估结果，该模型于2025年11月发布。基于英语Stella和Jasper模型的蒸馏方法，我们成功地将其扩展到双语（英语和中文）领域，并通过引入对比学习进一步提升了模型性能。我们模型的一个关键创新是引入基于一维卷积的token压缩模块。我们在训练期间动态调整压缩率，使模型能够学习更稳健和高效的压缩文本表示。通过将知识蒸馏与token压缩技术相结合，我们在嵌入质量和推理效率方面实现了显著提升。我们的模型在效率上高于传统0.6B模型，同时实现了与8B模型相当的性能。有关模型发布的更多信息，请访问：https://huggingface.co/infgrad/Jasper-Token-Compression-600M。
引用
@article{arxiv.2511.14404,
title = {Shape dependence of Edelstein and magnetoelectric effects in the V-shaped model},
author = {Shuhei Kanda and Satoru Hayami},
journal= {arXiv preprint arXiv:2511.14404},
year = {2026}
}
备注
17 pages, 8 figures