Hairmony：公平感知的发型分类

我们提出了一种从单张图像预测人物发型的方法。尽管在用户数字化和虚拟体验注册方面的应用日益增多，但现有方法仍然有限，特别是在它们能够捕捉的发型范围方面。人类头发极其多样，缺乏任何普遍接受的描述或分类，这使得该任务具有挑战性。目前大多数方法依赖于发丝级别的参数化模型。这些方法虽然前景广阔，但尚无法表示短发、卷曲、螺旋卷发和束发。我们转而选择一种分类方法，该方法能够代表真正鲁棒和包容性系统所需的发型多样性。先前的分类方法受到标注数据质量差且缺乏多样性的限制，从而制约了任何由此产生的注册系统的实用性。我们仅使用合成数据来训练我们的模型。这允许对发型属性、发色、面部外观、姿势、环境和其他参数的多样性进行显式控制。它还产生了无噪声的真实标签。我们引入了一个新颖的发型分类法，该分类法是与一个多元化的领域专家团队合作开发的，我们用它来平衡训练数据、监督模型并直接衡量公平性。我们使用此分类法标注了我们的合成训练数据和真实评估数据集，并公开发布两者，以便比较未来的发型预测方法。我们采用基于预训练特征提取网络的架构，以提高我们方法对真实数据的泛化能力，并将预测分类法属性作为辅助任务以提高准确性。结果表明，我们的方法在处理具有挑战性的发型方面比最近的参数化方法显著更鲁棒。