基于Transformer的降维
计算机视觉与模式识别
2022-10-18 v1
摘要
近来，Transformer 广受欢迎，并在机器学习（ML）、自然语言处理（NLP）和计算机视觉（CV）等领域发挥着重要作用。本文基于 Vision Transformer（ViT）模型，提出了一种新的降维（DR）模型，命名为 Transformer-DR。从数据可视化、图像重建和人脸识别出发，研究了 Transformer-DR 降维后的表征能力，并与一些代表性 DR 方法进行比较，以理解 Transformer-DR 与现有 DR 方法的差异。实验结果表明，Transformer-DR 是一种有效的降维方法。
引用
@article{arxiv.2210.08288,
title = {Transformer-based dimensionality reduction},
author = {Ruisheng Ran and Tianyu Gao and Bin Fang},
journal= {arXiv preprint arXiv:2210.08288},
year = {2022}
}