Artificial Intelligence for Efficient Image-based View Synthesis

Abstract

Synthesizing novel views from image data is a widely investigated topic in both computer graphics and computer vision, and has many applications like stereo or multi-view rendering for virtual reality, light field reconstruction, and image post-processing. While image-based approaches have the advantage of reduced computational load compared to classical model-based rendering, efficiency is still a major concern. This thesis demonstrates how concepts and tools from artificial intelligence can be used to increase the efficiency of image-based view synthesis algorithms. In particular it is shown how machine learning can help to generate point patterns useful for a variety of computer graphics tasks, how path planning can guide image warping, how sparsity-enforcing optimization can lead to significant speedups in interactive distribution effect rendering, and how probabilistic inference can be used to perform real-time 2D-to-3D conversion.

Die bildbasierte Synthese von neuen Ansichten ist Gegenstand intensiver Forschungsbemühungen sowohl in der Computergrafik als auch im maschinellen Sehen, mit Anwendungen wie stereo- und multiskopisches Rendering, virtuelle Realität, Lichtfeldrekonstruktion und nachträgliche Bildverarbeitung. Bildbasierte Ansätze weisen den Vorteil auf, dass sie im Vergleich zum klassischen modellbasierten Rendering weniger Rechenleistung erfordern. Effizienz ist jedoch weiterhin ein großes Problem. Diese Arbeit zeigt, wie Konzepte und Hilfsmittel aus dem Feld der künstlichen Intelligenz benutzt werden können, um die Effizienz der bildbasierten Synthese von neuen Ansichten zu steigern. Im Einzelnen wird gezeigt, wie maschinelles Lernen das Generieren von Punktmustern, die für viele Anwendungen in der Computergrafik nützlich sind, unterstützen kann und wie das Planen von Pfaden dasWarpen von Bildern in effiziente Bahnen lenken kann. Weiterhin wird eine Optimierung zur Ausdünnung von Datenstrukturen entwickelt, die das interaktive Rendern von Verteilungseffekten signifikant beschleunigt. Abschließend wird gezeigt, wie probabilistische Inferenz zur 2D-zu-3D Konvertierung in Echtzeit benutzt werden kann.