儿童故事书中插图的自动地理对齐
人工智能
2023-04-05 v1
摘要
本研究旨在证明AI软件可在无任何人工干预的情况下用于翻译并生成插图。此举旨在向外部客户Pratham Books展示并分发成果。该项目通过利用机器学习算法的泛化与可扩展性，与公司愿景一致，为不同地理位置的广泛文学受众显著提升了成本效率。我们采用比较研究方法，从三种设计方案（基于关键词的提示增强、CLIP嵌入掩码、带编辑提示的交叉注意力控制）中确定性能最佳的方法。我们采用定量与定性措施完成了透彻的评估过程。每种方法各有优劣，但通过评估，方法1被发现有最佳产出结果。通过引入大语言模型（LLM）与个性化风格模型，未来可能有前景的进展可进一步提升图像质量。所提方法也可适配于数字网络书中的视频与3D雕塑生成以创作新颖插图。
引用
@article{arxiv.2304.01204,
title = {Automatic Geo-alignment of Artwork in Children's Story Books},
author = {Jakub J. Dylag and Victor Suarez and James Wald and Aneesha Amodini Uvara},
journal= {arXiv preprint arXiv:2304.01204},
year = {2023}
}
备注
Master's project