PASTA：通过渐进聚合时空对齐实现灵活高效的 HDR 成像
计算机视觉与模式识别
2024-04-10 v2
摘要
利用 Transformer 注意力机制极大地推动了 HDR 去模糊（deghosting）的发展。然而，自注意力的复杂性带来了实际挑战，因为现有的 SOTA 方法通常需要高端 GPU 或推理速度较慢，特别是对于 2K 等高分辨率图像。在性能与延迟之间取得最佳平衡仍然是一个关键问题。作为回应，本工作提出了 PASTA，一种用于 HDR 去模糊的新型渐进聚合时空对齐（Progressively Aggregated Spatio-Temporal Alignment）框架。我们的方法通过在特征解耦过程中利用层次化表示，实现了有效性与高效性。通过利用层次结构中多样的粒度，我们的方法大幅提升了计算速度并优化了 HDR 成像工作流。此外，我们利用局部和全局注意力探索尺度内特征建模，以由粗到细的方式逐步合并和细化它们。实验结果表明，PASTA 在视觉质量和性能指标上均优于当前的 SOTA 方法，且推理速度提升了 3 倍（x3）。
引用
@article{arxiv.2403.10376,
title = {PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment},
author = {Xiaoning Liu and Ao Li and Zongwei Wu and Yapeng Du and Le Zhang and Yulun Zhang and Radu Timofte and Ce Zhu},
journal= {arXiv preprint arXiv:2403.10376},
year = {2024}
}