利用预训练自编码器的跨语言语言属性几何变换简单方法
计算与语言
2021-09-22 v2 机器学习
摘要
针对多种语言训练的强大句子编码器正在兴起。这些系统能够将广泛的语言属性嵌入到向量表示中。虽然显式探测任务可用于验证特定语言属性的存在，但尚不清楚向量表示是否可被操控以间接引导此类属性。为高效学习，我们研究了在嵌入空间中使用几何映射来变换语言属性，而无需对预训练的句子编码器或解码器进行任何调参。我们使用一个预训练的多语言自编码器在三种语言属性上验证了我们的方法，并在单语和跨语言设置下分析了结果。
引用
@article{arxiv.2104.03630,
title = {A Simple Geometric Method for Cross-Lingual Linguistic Transformations with Pre-trained Autoencoders},
author = {Maarten De Raedt and Fréderic Godin and Pieter Buteneers and Chris Develder and Thomas Demeester},
journal= {arXiv preprint arXiv:2104.03630},
year = {2021}
}
备注
EMNLP 2021 - Short Paper Track