BERTer：高效之选

我们探索了先进的微调技术，以提升 BERT 在情感分析、语义文本相似性和语义文本重写检测中的性能。我们的方法利用 SMART 正则化来缓解过拟合，改进了超参数选择，采用跨嵌入双塔架构以提高句子嵌入质量，并引入创新的早期退出方法。我们的微调发现，结合多种微调架构后，当前在测试集上实现了显著的效率和效果提升，取得了超越当前基准的领先成绩，凸显了 BERT 在多维语言任务中的适应性。