Novel algorithms of greedy-type for probability density estimation as well as linear and nonlinear inverse problems

Abstract

Algorithms of greedy-type are a popular tool for sparse approximation. Sparse approximations of functions are beneficial for several reasons. Therefore, we will develop greedy algorithms for two classes of problems, probability density estimation and inverse problems. The development of a greedy algorithm for density estimation was motivated by the desire to implement a simulation algorithm for so-called nonwovens, a particular type of technical textiles, which are widely used in industrial applications. We will propose such a simulation algorithm, which needs an estimation of the probability density of the fiber directions inside a nonwoven. Fortunately, these directions can be obtained from real nonwovens by a CT scan, which yields millions of data points. The incorporation of a probability density that is generated by the newly developed greedy algorithm reduces the computation time of the simulation algorithm from 80 days to 150 minutes by a factor of 750 in comparison to the use of a standard method for density estimation, namely kernel density estimators. For inverse problems, we introduce two generalizations of the Regularized Functional Matching Pursuit (RFMP) algorithm, which is a greedy algorithm for linear inverse problems. For the first generalization, called RWFMP, an improved theoretical analysis is possible. Furthermore, using the RWFMP, it is possible to reduce the computation time of the RFMP by a factor of 10 without losing much of the accuracy. The second generalization is an RFMP for nonlinear inverse problems. We apply the algorithm to the nonlinear inverse gravimetric problem, which is concerned with the reconstruction of information about the interior of a planetary body from gravitational data. We obtain very good numerical results concerning the accuracy, the sparsity, and the interpretability of the results.

Zusammenfassung Greedy-Algorithmen sind oft genutzte Methoden zur Generierung von sogenannten sparsen Approximationen. Funktionen auf diese Art zu approximieren ist aus verschiedenen Gründen vorteilhaft. Deshalb entwickeln wir Greedy-Algorithmen für zwei verschiedene Problemklassen, die Schätzung von Wahrscheinlichkeitsdichten einerseits und inverse Probleme andererseits. Die Entwicklung eines Greedy-Algorithmus für die Dichteschätzung ist motiviert durch die Notwendigkeit, einen Simulationsalgorithmus für sogenannte Vliesstoffe zu implementieren, einem speziellen Typ technischer Textilien, die oft in industriellen Anwendungen verwendet werden. Wir werden solch einen Simulationsalgorithmus vorstellen, der eine Schätzung der Richtungsverteilung in einem Vliesstoff benötigt. Die Richtungen der Fäden in einem echten Vliesstoff können mit Computertomographen analysiert werden. Dies liefert Millionen von Datenpunkten. Benutzen wir dieWahrscheinlichkeitsdichte, die durch den neu entwickelten Greedy-Algorithmus generiert wird, so reduziert sich die Rechenzeit des Simulationsalgorithmus von 80 Tagen auf 150 Minuten um einen Faktor von 750 im Vergleich zur Verwendung von Kerndichteschätzern, einer Standardmethode für die Dichteschätzung. Für inverse Probleme entwickeln wir zwei Verallgemeinerungen des Regularized Functional Matching Pursuit (RFMP)-Algorithmus, welcher ein Greedy-Algorithmus für lineare inverse Probleme ist. Für die erste Verallgemeinerung, die wir RWFMP nennen, legen wir verbesserte theoretische Ergebnisse im Vergleich zum RFMP vor. Außerdem kann durch den RWFMP die Rechenzeit des RFMP auf ein Zehntel reduziert werden, ohne viel Genauigkeit zu verlieren. Die zweite Verallgemeinerung ist ein RFMP für nichtlineare inverse Probleme.Wir wenden diesen Algorithmus auf das nichtlineare inverse Gravimetrieproblem an, welches sich mit der Bestimmung von Strukturen im Innern eines Planeten aus Gravitationsdaten befasst. Wir erhalten sehr gute numerische Resultate, betreffend sowohl die Genauigkeit und die sparsity, als auch die Interpretierbarkeit des Ergebnisses.