使用正弦位置编码简化高频函数学习
机器学习
2024-07-18 v2
摘要
基于傅里叶特征的位置编码（PE）在涉及从低维输入学习高频特征的机器学习任务中常用，例如3D视图合成和带有神经切向核的时间序列回归。尽管其有效性显而立见，现有PE需要针对每个独特任务手动调整关键超参数，即傅里叶特征。此外，PE在处理数据有限的任务时面临高效学习高频函数的挑战。本文引入了正弦位置编码（SPE），旨在高效学习与真实底层函数紧密相关的自适应频率特征。我们的实验表明，SPE在无需超参数调整的情况下，在各种任务中（包括3D视图合成、文本转语音生成和1D回归） consistently 实现更高的保真度和更快的训练速度。SPE可作为现有PE的直接替换，其即插即用特性使众多任务轻松采用并受益。
引用
@article{arxiv.2407.09370,
title = {Learning High-Frequency Functions Made Easy with Sinusoidal Positional Encoding},
author = {Chuanhao Sun and Zhihang Yuan and Kai Xu and Luo Mai and N. Siddharth and Shuo Chen and Mahesh K. Marina},
journal= {arXiv preprint arXiv:2407.09370},
year = {2024}
}
备注
16 pages, Conference, Accepted by ICML 2024