TORE：基于 Transformer 的高效人体网格恢复中的令牌缩减
计算机视觉与模式识别
2023-08-11 v5
摘要
本文提出了一组简单而有效的 TOken REduction (TORE) 策略，用于基于 Transformer 的单目图像人体网格恢复。当前的 SOTA 性能由基于 Transformer 的结构取得。然而，它们受冗余令牌引起的模型高复杂度和计算成本所困扰。我们基于两个重要方面提出令牌缩减策略，即 3D 几何结构与 2D 图像特征，其中我们利用身体结构先验分层恢复网格几何，并进行令牌聚类以将更少但更具判别力的图像特征令牌传递给 Transformer。我们的方法大幅减少了 Transformer 中参与高复杂度交互的令牌数量。这显著降低了计算成本，同时在形状恢复中仍取得有竞争力甚至更高的精度。在广泛基准上的大量实验验证了所提方法的优越有效性。我们进一步在手网格恢复上展示了我们方法的通用性。访问我们的项目页面 https://frank-zy-dou.github.io/projects/Tore/index.html。
引用
@article{arxiv.2211.10705,
title = {TORE: Token Reduction for Efficient Human Mesh Recovery with Transformer},
author = {Zhiyang Dou and Qingxuan Wu and Cheng Lin and Zeyu Cao and Qiangqiang Wu and Weilin Wan and Taku Komura and Wenping Wang},
journal= {arXiv preprint arXiv:2211.10705},
year = {2023}
}
备注
Accepted to ICCV 2023