Description

固有图像分解是一个具有挑战性的，长期存在的计算机视觉问题，对于该问题很难获取地面真实数据。我们探索使用合成数据来训练基于CNN的内在图像分解模型，然后将这些学习到的模型应用于实际图像。为此，我们提出了CGIntrinsics，这是一个新的，大规模的，基于物理的场景渲染图像数据集，具有完整的地面真相分解。我们使用的渲染过程经过精心设计，以生成高质量，逼真的图像，我们发现这对于该问题领域至关重要。我们还提出了一种新的端到端训练方法，该方法可以利用CGIntrinsics以及可选的IIW和SAW（在现实世界图像上的两个稀疏注释的最新数据集）来学习更好的分解。令人惊讶的是，我们发现仅对合成数据进行训练的分解网络的性能优于IIW和SAW的最新技术，并且在训练过程中添加IIW和SAW数据时，性能甚至进一步提高。我们的工作证明了精心渲染的合成数据对于固有图像任务的惊人效果。

Acknowledgements

We thank Jingguang Zhou for his help with data generation. We also thank the anonymous reviewers for their valuable comments. This work was funded by the National Science Foundation through grant IIS-1149393, and by a grant from Schmidt Sciences.