用于二维语义分割的神经场条件化策略
计算机视觉与模式识别
2023-04-28 v1 机器学习
图像与视频处理
摘要
神经场是将坐标映射到期望信号的神经网络。当神经场应联合建模多个信号而非仅记忆一个信号时，它需要以描述当前信号的潜码为条件。尽管这是一个重要方面，关于神经场条件化策略的研究却很少。本工作中，我们探索将神经场用作二维语义分割的解码器。对于该任务，我们比较了三种条件化方法：潜码的简单拼接、特征线性调制（FiLM）和交叉注意力，并结合描述整幅图像或仅图像局部区域的潜码。我们的结果显示所考察条件化策略之间性能存在显著差异。此外，我们表明通过交叉注意力进行条件化取得了最佳结果，并与基于 CNN 的语义分割解码器具有竞争力。
引用
@article{arxiv.2304.14371,
title = {Neural Field Conditioning Strategies for 2D Semantic Segmentation},
author = {Martin Gromniak and Sven Magg and Stefan Wermter},
journal= {arXiv preprint arXiv:2304.14371},
year = {2023}
}
备注
13 pages, 4 figures, submitted to ICANN 2023