Lester：基于视频对象分割和跟踪的 rotoscope 动画

本文介绍Lester，这是一种从视频中自动合成复古风格2D动画的新方法。该方法主要作为对象分割和跟踪问题来处理。视频帧使用Segment Anything Model（SAM）进行处理，得到的掩码随后通过DeAOT（层次传播的半监督视频对象分割方法）在后续帧中进行跟踪。最后，可选地对掩码轮廓的几何进行Douglas-Peucker算法简化。此外，可选添加面部特征、像素化和基本阴影效果。结果显示，该方法在时序一致性方面表现出色，能够正确处理不同姿势和外观、动态镜头、部分镜头以及多样化背景的视频。该方法提供的一种比基于扩散模型的视频到视频翻译管道更为简单和确定性的方法，后者存在时序一致性问题，难以处理像素化和示意化的输出。相对于基于3D人体姿态估计的技术而言，该方法更为实用，这些技术需要定制的人工制作3D模型，且对可以处理的场景类型受限。