句子表示的 PAC-Bayes 分析
机器学习
2019-02-14 v2 计算与语言
机器学习
摘要
从无标注语料中学习句子向量因能在更低维连续空间中表示句子而受到关注。基于预训练词向量的简单启发式方法被广泛应用于机器学习任务。然而，从理论角度它们尚未被充分理解。我们通过使用 PAC-Bayes 界从迁移学习视角分析句子向量的学习，该界使我们能够理解现有启发式方法。我们表明，诸如平均与逆文档频率加权平均之类的简单启发式方法可由我们的公式推导得出。此外，我们基于 PAC-Bayes 分析提出了新颖的句子向量学习算法。
引用
@article{arxiv.1902.04247,
title = {PAC-Bayes Analysis of Sentence Representation},
author = {Kento Nozawa and Issei Sato},
journal= {arXiv preprint arXiv:1902.04247},
year = {2019}
}
备注
fix styles