基于 X射线荧光数据立方体的 Vision Transformer 实现虚拟绘画重新上色

Alessandro Bombini; Fernando García-Avello Bofías; Francesca Giambi; Chiara Ruberto

基于 X射线荧光数据立方体的 Vision Transformer 实现虚拟绘画重新上色

计算机视觉与模式识别 2024-10-14 v1 机器学习应用物理

作者: Alessandro Bombini , Fernando García-Avello Bofías , Francesca Giambi , Chiara Ruberto

摘要

本文提出一种定义并测试的管道，用于执行基于 X 射线荧光（XRF）分析艺术作品原始数据的虚拟绘画重新上色。为克服数据集大小不足的问题，我们从 XRF 光谱数据库生成合成数据集；此外，为提高更好的泛化能力（并解决内存大小和推理时间问题），我们定义一种深度变分嵌入网络，将 XRF 光谱嵌入更低维、适合 K 均值聚类的度量空间。于是我们训练一组模型为嵌入的 XRF 图像分配彩色图像。我们在此报告所设计管道在视觉质量指标方面的性能，并对结果进行讨论。

关键词

X射线荧光 Vision Transformer 图像重新上色艺术修复深度学习

引用

@article{arxiv.2410.08826,
  title  = {Towards virtual painting recolouring using Vision Transformer on X-Ray Fluorescence datacubes},
  author = {Alessandro Bombini and Fernando García-Avello Bofías and Francesca Giambi and Chiara Ruberto},
  journal= {arXiv preprint arXiv:2410.08826},
  year   = {2024}
}

备注

v1: 20 pages, 10 figures; link to code repository

基于 X射线荧光数据立方体的 Vision Transformer 实现虚拟绘画重新上色

摘要

关键词

引用

备注

相关论文