通过实例模式组合器实现可泛化隐式神经表示
计算机视觉与模式识别
2023-04-18 v2 机器学习
摘要
尽管隐式神经表示(INRs)近期取得进展,基于坐标的多层感知机(MLP)仍难以在 INRs 中学习跨数据实例的通用表示并泛化至未见实例。本工作中,我们引入一个简单而有效的可泛化 INR 框架,使基于坐标的 MLP 能够通过仅调制早期 MLP 层中的一小组权重作为实例模式组合器来表示复杂数据实例;其余 MLP 权重学习跨实例通用表示的模式组合规则。我们的可泛化 INR 框架与现有元学习与超网络在预测未见实例的调制权重方面完全兼容。大量实验表明,我们的方法在音频、图像与三维物体等广泛领域上取得高性能,而消融研究验证了我们的权重调制。
引用
@article{arxiv.2211.13223,
title = {Generalizable Implicit Neural Representations via Instance Pattern Composers},
author = {Chiheon Kim and Doyup Lee and Saehoon Kim and Minsu Cho and Wook-Shin Han},
journal= {arXiv preprint arXiv:2211.13223},
year = {2023}
}
备注
15 pages, 12 figures, CVPR'23 highlight, the code is available at https://github.com/kakaobrain/ginr-ipc