从语言模型到图像描述生成器的迁移学习：更优模型未必迁移更优
计算与语言
2019-01-07 v1 机器学习
神经与进化计算
摘要
在设计神经描述生成器时，可使用卷积神经网络提取图像特征。是否也可能使用神经语言模型提取句子前缀特征？我们通过尝试将神经语言模型的循环神经网络与嵌入层以不同方式迁移至图像描述生成器来回答此问题。我们发现，具有迁移参数的图像描述生成器优于从头训练的模型，即便仅仅是先在后续将训练的同一描述数据集的文本上对其进行预训练也是如此。我们还发现，最佳语言模型（就困惑度而言）在迁移学习后并未产生最佳的描述生成器。
引用
@article{arxiv.1901.01216,
title = {Transfer learning from language models to image caption generators: Better models may not transfer better},
author = {Marc Tanti and Albert Gatt and Kenneth P. Camilleri},
journal= {arXiv preprint arXiv:1901.01216},
year = {2019}
}
备注
17 pages, 4 figures, 3 tables, unpublished (comments welcome)