上下文抠图

我们引入上下文抠图，一种新的图像抠图任务设置。给定某个前景的参考图像和引导先验（如点、涂鸦、掩码），上下文抠图能够对同一前景类别的批量目标图像自动估计alpha，无需额外辅助输入。该设置结合了基于辅助输入的抠图的良好性能和自动抠图的易用性，在定制化和自动化之间找到了良好折中。为克服准确前景匹配的关键挑战，我们提出IconMatting，一种基于预训练文本到图像扩散模型的上下文抠图模型。通过条件化于间相似性和内相似性匹配，IconMatting能充分利用参考上下文生成准确的目标alpha遮罩。为基准测试该任务，我们还引入新测试数据集ICM-57，涵盖57组真实世界图像。在ICM-57测试集上的定量和定性结果表明，IconMatting在保持与自动抠图相当的自动化水平的同时，达到了与基于trimap的抠图相当的精度。代码见https://github.com/tiny-smart/in-context-matting。