重新思考编码器层与解码器层之间的自适应关系
计算与语言
2024-05-15 v1
摘要
本文使用 SOTA 模型 Helsinki-NLP/opus-mt-de-en（该模型将德语翻译为英语）探讨了编码器层与解码器层之间的自适应关系。具体方法包括在编码器和解码器之间引入一个无偏置的全连接层，对该层权重进行不同的初始化，并观察微调与重新训练的结果。总共进行了四项实验。结果表明，直接修改预训练模型结构进行微调会产生次优性能。然而，在观察重新训练的实验结果后，这种结构调整显示出巨大的潜力。
引用
@article{arxiv.2405.08570,
title = {Rethinking the adaptive relationship between Encoder Layers and Decoder Layers},
author = {Yubo Song},
journal= {arXiv preprint arXiv:2405.08570},
year = {2024}
}