组合语义表示学习中的学习何在——以题元适合性为例
计算与语言
2022-10-25 v3
摘要
观察到对于某些NLP任务,如语义角色预测或题元适合性估计,随机嵌入与预训练嵌入表现相当,我们探究了哪些设置允许这种情况发生,并考察了大部分学习编码于何处:词嵌入、语义角色嵌入,还是“网络”。我们找到了细致的回答,取决于任务及其与训练目标的关系。我们在多任务学习中考察这些表示学习方面,其中角色预测和角色填充是监督任务,而若干题元适合性任务在模型的直接监督之外。我们观察到某些任务的质量分数与训练数据规模之间存在非单调关系。为了更好地理解这一观察,我们使用这些任务的更简单的逐动词版本来分析这些结果。
引用
@article{arxiv.2208.04749,
title = {Where's the Learning in Representation Learning for Compositional Semantics and the Case of Thematic Fit},
author = {Mughilan Muthupari and Samrat Halder and Asad Sayeed and Yuval Marton},
journal= {arXiv preprint arXiv:2208.04749},
year = {2022}
}
备注
Published in Blackbox NLP workshop, EMNLP 2022. 12 pages including Appendices, 1 figure (with 6 sub-figures)