Single-image inverse lighting of faces with a virtual light stage

Abstract

This dissertation addresses the problem of inverse lighting from a single image of a face. No information is given about the face or the imaging conditions, yet, the goal is to estimate a physically plausible lighting that reproduces plain and harsh illumination effects with respect to the appearance of the face in the given image. First, a 3D Morphable Model is fit to the 2D input face. Then, a generating set of images is rendered under all the same conditions as the input image, but different lights. Each image is rendered under a single light source with unit intensity. The light sources build a fixed set that is called a Virtual Light Stage in this dissertation. We assume that the input image belongs to the synthetic illumination cone that this generating set spans. We estimate the coefficients, so that the linear combination of the generating set is as similar as possible to the input image. To aim for more realistic illumination effects, this thesis uses a non-Lambertian reflectance that considers Fresnel specular highlights at grazing angles. Analysis and synthesis of cast shadows under complex lighting conditions is another important subject of the thesis. For the parameter estimation, two probabilistic modeling approaches are proposed. A hierarchical Bayesian model automatically suppresses inconsistencies between the generative model and the input. The nonnegative optimization algorithm finds the optimal spectral intensities of the Virtual Light Stage light sources for the input face. To enhance the performance of the algorithm on complex illumination effects, such as cast shadows, the hyperparameters of the hierarchical approach are controlled by constraints. This dissertation is a contribution to single image face and environment modeling and analysis with applications in realistic scene reconstruction, intrinsic face model decomposition, relighting and lighting design.

Im Mittelpunkt der vorliegenden Arbeits steht das Thema der inversen Beleuchtung eines Einzelbildes von einem Gesicht. Darüber hinaus sind keine Informationen über das Gesicht oder die Abbildungsbedingungen vorhanden. Somit muss eine physikalisch plausible Beleuchtung geschätzt werden, die sowohl einfache als auch harte Lichteffekte in Bezug auf das Aussehen des Gesichtes in dem gegebenen Bild reproduziert. Zuerst wird ein 3D Morphable Model an das 2D Eingabegesicht angepasst. Dann wird eine generative Menge von Bildern unter genau den gleichen Bedingungen wie das Eingabebild, aber mit unterschiedlichen Beleuchtungen gerendert, indem jedes Bild unter einer einzigen Lichtquelle mit Einheitsintensität synthetisiert wird. Die Menge der Lichtquellen ist vorgegeben und wird als Virtual Light Stage bezeichnet. Es wird davon ausgegangen, dass das Eingabebild zu dem synthetischen Beleuchtungskonus gehört, den dieser generierende Satz aufspannt. Dann werden die Koeffizienten geschätzt, so dass die Linearkombination des generierenden Satzes möglichst ähnlich dem Eingangsbild ist. Um realistischere Lichteffekte zu ermöglichen, wird eine nicht-Lambert’sche Reflektanzverteilungsfunktion verwendet, die Fresnel-Reflexion bei flachen Winkeln berücksichtigt. Es wird viel Aufwand in die Analyse und Synthese von Schlagschatten unter komplexen Lichtverhältnissen investiert. Für die Parameterschätzung werden zwei probabilistische Modellierungsansätze vorgeschlagen. Ein hierarchisches Bayes’sches Modell unterdrückt automatisch Inkonsistenzen zwischen dem generativen Modell und dem Input. Der Optimierungsalgorithmus mit Nicht-Negativität als Nebenbedingung findet die optimalen spektralen Intensitäten der Virtual Light Stage für das Eingangsbild. Diese Dissertation ist ein Beitrag zur Gesichtsbild- und Umgebungsmodellierung. Einige Anwendungen des vorgeschlagenen Algorithmus sind zum Beispiel die realistische Rekonstruktion des Eingabebildes, die intrinsische Gesichtsmodellzerlegung, die Wiederbeleuchtung und der Beleuchtungsentwurf.