基于序贯测试时自适应的开放世界姿态迁移
计算机视觉与模式识别
2023-03-21 v1
摘要
姿态迁移旨在将给定人物迁移至指定姿态，近年来引起了相当多的关注。典型的姿态迁移框架通常使用代表性数据集训练判别模型，但往往因分布外（OOD）样本而失效。近来，测试时自适应（TTA）通过使用预训练模型以自监督学习本质特征，为 OOD 数据提供了可行方案。然而，这些方法隐式地假设所有测试分布具有可直接学习的统一信号。在开放世界条件下，姿态迁移任务产生多种独立信号：OOD 外观与骨架，需要被提取并分而治之。为此，我们提出了一种序贯测试时自适应（SETA）方法。在测试阶段，SETA 通过对 OOD 数据进行增强以自监督训练，提取并分配外部外观纹理。为使不同姿态间的非欧几里得相似性显式化，SETA 利用从行人重识别（Re-ID）模型导出的图像表征进行相似度计算。通过序贯地处理测试时隐式姿态表征，SETA 大幅提升了当前姿态迁移模型的泛化性能。实验中，我们首先表明姿态迁移可应用于开放世界应用，包括 Tiktok 重演与名人动作合成。
引用
@article{arxiv.2303.10945,
title = {Open-World Pose Transfer via Sequential Test-Time Adaption},
author = {Junyang Chen and Xiaoyu Xian and Zhijing Yang and Tianshui Chen and Yongyi Lu and Yukai Shi and Jinshan Pan and Liang Lin},
journal= {arXiv preprint arXiv:2303.10945},
year = {2023}
}
备注
We call for a solid pose transfer model that can handle open-world instances beyond a specific dataset