旋转掩码自编码器是多面手学习器
机器学习
2026-05-13 v3
摘要
将Transformer应用于不规则时间序列通常需要对其基础架构进行特殊化处理，这可能导致额外的计算开销和增加的方法复杂性。我们提出了旋转掩码自编码器（RoMAE），它利用流行的旋转位置嵌入（RoPE）方法处理连续位置。RoMAE是掩码自编码器（MAE）的扩展，能够利用多维连续位置信息进行插值和表示学习，同时避免任何针对时间序列的架构特殊化。我们展示了RoMAE在多种模态上的性能，包括不规则和多元时间序列、图像和音频，证明RoMAE在诸如DESC ELAsTiCC挑战赛等困难数据集上超越了专门的时间序列架构，同时在其他模态上保持了MAE的通常性能。此外，我们研究了RoMAE重建嵌入连续位置的能力，证明在输入序列中包含学习到的嵌入会破坏RoPE的相对位置特性。
引用
@article{arxiv.2505.20535,
title = {Rotary Masked Autoencoders are Versatile Learners},
author = {Uros Zivanovic and Serafina Di Gioia and Andre Scaffidi and Martín de los Rios and Gabriella Contardo and Roberto Trotta},
journal= {arXiv preprint arXiv:2505.20535},
year = {2026}
}
备注
NeurIPS 2025 Final Camera Ready