局部保持损失：毗邻而居的邻域，对齐而存
机器学习
2021-03-15 v2 计算与语言
机器学习
摘要
我们提出一种局部保持损失（LPL），可在分离不相关表示的同时改善向量空间嵌入之间的对齐。给定两个预训练的嵌入流形，LPL 优化一个模型以投影嵌入并保持其局部邻域，同时将一流形对齐至另一流形。这减少了在诸如跨语言词对齐等任务中对齐两者所需的整体数据集规模。我们表明，基于 LPL 的输入向量空间间对齐起到了正则化作用，带来优于基线且更一致的准确性，尤其在训练集规模较小时。我们在语义文本相似度（STS）、自然语言推断（SNLI）、多体裁语言推断（MNLI）和跨语言词对齐（CLA）上展示了 LPL 优化对齐的有效性，显示出一致的提升，并在较低资源设定下发现相较基线最高达 16% 的改进。
引用
@article{arxiv.2004.03734,
title = {Locality Preserving Loss: Neighbors that Live together, Align together},
author = {Ashwinkumar Ganesan and Francis Ferraro and Tim Oates},
journal= {arXiv preprint arXiv:2004.03734},
year = {2021}
}