月球多面：统一 Transformer 用于多模态月球重建

多模态学习是跨多个领域的新兴研究主题，但很少应用于行星科学。本文提出一种单一统一的 Transformer 架构，通过训练来学习来自多个来源（如灰度图像、数字高程模型 DEM、表面法向图和反照率图）之间的共享表示。该架构支持从任意输入模态到任意目标模态的灵活转换。我们的实验结果表明，基础模型学习到了这四种模态之间的物理上合理的关系。我们进一步指出，基于图像的 3D 重建和反照率估计（即从阴影估计形状与反照率）可被形式化为多模态学习问题。我们的实验结果表明，多模态学习有望解决形状与反照率从阴影问题，并为大规模行星 3D 重建提供新方法。未来增加更多输入模态将进一步提升结果，同时支持如光照归一化和共配准等任务。