BERT-JEPA：重新组织 CLS 嵌入以实现语言无关语义
计算与语言
2026-01-05 v1 人工智能
机器学习
摘要
联合嵌入预测架构（JEPA）是一种新型自监督训练技术，近期在多个领域展现出巨大潜力。我们引入 BERT-JEPA（BEPA），这是一种在 BERT 类模型上添加 JEPA 训练目标的训练范式，旨在缓解 [CLS] 嵌入空间的压缩问题，并将其转化为语言无关的语义空间。这种新结构在多语言基准测试上实现了性能提升。
引用
@article{arxiv.2601.00366,
title = {BERT-JEPA: Reorganizing CLS Embeddings for Language-Invariant Semantics},
author = {Taj Gillin and Adam Lalani and Kenneth Zhang and Marcel Mateos Salles},
journal= {arXiv preprint arXiv:2601.00366},
year = {2026}
}
备注
16 pages, 10 figures, 10 tables