Piccolo2：基于多任务混合损失训练的通用文本嵌入模型
计算与语言
2024-05-14 v1 人工智能
摘要
本报告介绍了Piccolo2，这是一个在CMTEB基准测试中完成6项任务的综合评估的嵌入模型，达到了新的状态最佳成绩。Piccolo2主要利用高效的多任务混合损失训练方法，有效地利用来自多种下游任务的文本数据和标签。此外，Piccolo2扩展了嵌入维度，并采用MRL训练以支持更灵活的向量维度。最新版本Piccolo模型信息可通过：https://huggingface.co/sensenova/获取。
引用
@article{arxiv.2405.06932,
title = {Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training},
author = {Junqin Huang and Zhongjie Hu and Zihao Jing and Mengya Gao and Yichao Wu},
journal= {arXiv preprint arXiv:2405.06932},
year = {2024}
}
备注
tech report