MOSAIC：面向领域对比学习的掩码目标与选择性适应
计算与语言
2026-01-30 v2 人工智能
摘要
我们提出MOSAIC（Masked Objective with Selective Adaptation for In-domain Contrastive learning），一个多阶段框架，用于文本嵌入模型的领域适应，集成了联合领域特定掩码监督。我们的ethods解决了将大规模通用领域文本嵌入模型适应到特定领域的挑战。通过在统一的训练管道中联合优化掩码语言模型（MLM）和对比目标，我们的方法能够有效学习与领域相关的表征，同时保持原始模型的鲁健语义判别性。我们在高资源和低资源领域上进行经验验证，相较于强大的通用领域基线，NDCG@10提升最高可达13.4%。全面的消融研究进一步证明了每个组件的有效性，突出了均衡联合监督和分阶段适应的重要性。
引用
@article{arxiv.2510.16797,
title = {MOSAIC: Masked Objective with Selective Adaptation for In-domain Contrastive Learning},
author = {Vera Pavlova and Mohammed Makhlouf},
journal= {arXiv preprint arXiv:2510.16797},
year = {2026}
}