Glass, LeonLeonGlass2026-03-062026-03-062025https://dspace.ub.uni-siegen.de/handle/ubsi/8748Both first-principles-based and data-driven methods provide powerful tools for modeling physical systems. As such, there is a strong push for harnessing both approaches by combining them in the form of gray-box models. Automatic differentiation of ordinary differential equation (ODE) models and physical model parts enables flexible gray-box modeling in system identification tasks. Local model networks (LMNs) with their excellent interpretability and sparing use of model parameters are an ideal model class to provide data-driven elements in a gray-box model. Unfortunately, LMNs’ intricate training procedures currently do not allow for end-to-end training within larger model architectures. To remedy this, we propose a new LMN training algorithm and corresponding model called rectified linear unit model tree (ReLUMoT). ReLUMoT provides fully gradient-based training of LMNs, which permits us to train within gray-box ODE models. In essence, ReLUMoT pioneers the use of piecewise linear neural networks (PLNNs) as a training engine for LMNs. This is accomplished by distilling the locally linear structure of a PLNN into an LMN. We thoroughly review all theoretical concepts needed to train gray-box ODE models, ranging from state space modeling to initializing latent states during the training procedure. In particular, we give a critical review of sensitivity analysis methods, discussing their suitability for system identification tasks. We provide extensive experimental validation of ReLUMoT’s usefulness in practical modeling tasks. ReLUMoT is benchmarked against a variety of state-of-the-art modeling algorithms in learning both static and dynamic processes. In black-box settings, ReLUMoT matches or exceeds the performance of existing LMNs. Properly incorporating prior knowledge is shown to lead to vast improvements in model performance and size.Sowohl die Gesetze der Physik als auch datengetriebene Methoden sind mächtige Werkzeuge zur Modellierung physikalischer Systeme. Daraus ergibt sich die starke Motivation, beide Ansätze in Gray-Box-Modellen zu verbinden. Automatische Differenzierung von Modellen bestehend aus gewöhnlichen Differentialgleichungen und physikalischen Modellteilen ermöglicht flexible Gray-Box-Modellierung in der Systemidentifikation. Lokale Modellnetze eignen sich durch ihre ausgezeichnete Interpretierbarkeit und kleine Modellgröße exzellent zur Verwendung in Gray-Box-Modellen. Leider verhindert der komplexe Trainingsprozess bestehender lokaler Modellnetze das Lernen innerhalb grösserer Modellstrukturen. Der in dieser Arbeit vorgeschlagene Algorithmus rectified linear unit model tree (ReLUMoT) löst dieses Problem. ReLUMoT erlaubt durch vollständig gradientenbasiertes Training das Lernen innerhalb von Gray-Box-Differentialgleichungsmodellen. Zentrale Idee von ReLUMoT ist es, die lokal lineare Struktur eines stückweise linearen neuronalen Netzes in ein lokales Modellnetz zu kondensieren. Diese Arbeit bietet außerdem einen Überblick der theoretischen Konzepte, die zum Lernen von Gray-Box-Differentialgleichungsmodellen nötig sind. Hierzu zählen unter anderem Zustandsraummodelle und Zustandsinitialisierung während des Trainings. Insbesondere werden Methoden der Sensitivitätsanalyse nach ihrer Eignung zum Einsatz in der Systemidentifikation kritisch bewertet. Umfangreiche Experimente weisen den Nutzen des ReLUMoT-Algorithmus in praktischen Modellierungsaufgaben nach. ReLUMoT wird in der Approximation statischer und dynamischer Prozesse mit verschiedenen modernen Modellierungsalgorithmen verglichen. Ohne die Verwendung von Vorwissen erreicht oder überschreitet Re-LUMoT die Modellgüte bestehender lokaler Modellnetze. Die Verwendung von Vorwissen führt nachweislich zu großen Verbesserungen der Modellgüte und -größe.en620 Engineering and applied operationsSystemidentifikationMaschinelles LernenGewöhnliche DifferenzialgleichungenSystem IdentificationMachine LearningOrdinary Differential EquationsNeuronale NetzeNeural NetworksDoctoral ThesisOliver Nellesurn:nbn:de:hbz:467-874832193-0538