将 SoftTriple 损失应用于有监督语言模型微调
计算与语言
2022-11-28 v1
摘要
我们引入一种新的损失函数 TripleEntropy，以基于交叉熵与 SoftTriple 损失来提升通用知识预训练语言模型微调的分类性能。该损失函数可将以交叉熵损失微调的鲁棒 RoBERTa 基线模型提升约 (0.02% - 2.29%)。在流行数据集上的详尽测试表明存在稳定的增益。训练数据集中的样本越少，增益越高——因此，小数据集为 0.78%，中数据集为 0.86%，大数据集为 0.20%，超大数据集为 0.04%。
引用
@article{arxiv.2112.08462,
title = {Applying SoftTriple Loss for Supervised Language Model Fine Tuning},
author = {Witold Sosnowski and Anna Wroblewska and Piotr Gawrysiak},
journal= {arXiv preprint arXiv:2112.08462},
year = {2022}
}