一种利用自编码器生成对齐潜空间机制
机器学习
2021-06-30 v1 人工智能
摘要
对齐潜空间，即输入空间中有意义的语义偏移对应于嵌入空间中的平移，在无监督聚类与数据插补等下游任务的成功中起着重要作用。本工作中，我们证明线性与非线性自编码器通过沿数据的左奇异向量拉伸来产生对齐潜空间。我们完整刻画了线性自编码器中拉伸的量，并提供了一种利用这些网络沿顶部方向任意拉伸的初始化方案。我们还在简化设定下量化了非线性自编码器中的拉伸量。我们利用理论结果在基因表达空间中跨细胞类型对齐药物特征，并在词嵌入空间中对齐语义偏移。
引用
@article{arxiv.2106.15456,
title = {A Mechanism for Producing Aligned Latent Spaces with Autoencoders},
author = {Saachi Jain and Adityanarayanan Radhakrishnan and Caroline Uhler},
journal= {arXiv preprint arXiv:2106.15456},
year = {2021}
}