基于自注意力的非线性基变换用于动态光纤传输矩阵的紧凑潜在空间建模

多模态光纤是一种直径仅为发丝状的玻璃纤维，能够高效传输光信号。它们承诺能够提供前所未有的细胞级别图像分辨率，用于深部体内的医学内窥镜。然而，将光线限制在此类光纤意味着图像在传输过程中必然被扰乱。传统做法是通过对特定光纤如何扰乱光信号进行校准，并求解表示该光纤物理模型的静止线性矩阵方程来进行补偿。然而，随着技术向实际部署发展，补偿过程必须考虑由运动和温度变化等因素引起的矩阵表示对光信号影响的动态变化，以及由于体内光纤末端不可及而产生的非线性效应。这种复杂的、动态的和非线性的行为非常适合用神经网络进行近似，但目前领先的图像重建网络依赖卷积层，这些层假设相邻像素之间存在强相关性——这对于光纤矩阵而言不合适，因为它们可能以任意坐标表示形式出现，且具有远程相关性。我们提出了一种新概念，利用自注意力层动态地变换不同光纤矩阵的坐标表示，以一种能容纳紧凑低维表示的基座进行变换，以便进行后续处理。我们在多样化的光纤矩阵数据集上展示了该方法的有效性。我们表明，这些模型在变换后的基座中显著提高了光纤基座的稀疏性，其参与率（participation ratio, p）介于0.01至0.11之间。进一步，我们表明，这些变换表示能够以小于10%的重建误差重建原始矩阵，证明了其可逆性。