Citation link: http://dx.doi.org/10.25819/ubsi/10041
Files in This Item:
File Description SizeFormat
Dissertation_Tobias_Muenker.pdf2.32 MBAdobe PDFThumbnail
View/Open
Dokument Type: Doctoral Thesis
metadata.dc.title: Machine learning with finite impulse response models
Other Titles: Maschinelles Lernen mit endlichen Impulsantwortmodellen
Authors: Münker, Tobias 
Institute: Institut für Mechanik und Regelungstechnik - Mechatronik 
Free keywords: Systemidentifikation, Maschinelles Lernen, Endliche Impulsantwort, LOLIMOT, Neuronale Netze, Identifikation, Regelungstechnik, Modell, Neural Network, System Identification, Machine Learning, Finite Impulse Response
Dewey Decimal Classification: 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
GHBS-Clases: XIWD
Issue Date: 2021
Publish Date: 2022
Series/Report no.: Schriftenreihe der Arbeitsgruppe Mess- und Regelungstechnik - Mechatronik, Department Maschinenbau 
Abstract: 
Ein genaues und zuverlässiges Modell ist die Grundlage für Analyse, Auslegung und Regelung von modernen Automatisierungssystemen. Es ist häufig zu kompliziert, zu teuer oder zu ungenau, diese Modelle basierend auf physikalischen Gleichungen zu entwickeln. Innerhalb der letzten Jahre hat maschinelles Lernen deutliche Fortschritte bei der Verwendung von Daten zur Erstellung dieser Modelle gemacht. Ein wesentlicher Nachteil dieser Methoden ist, dass Stabilität der identifizierten Modelle nicht garantiert ist. Daher werden in dieser Arbeit Methoden zur Identifikation basierend auf FIR Modellen untersucht. Diese enthalten keine Rückkopplung und garantieren deshalb strukturbedingt Stabilität.
Lineare FIR Systeme bieten signifikante Vorteile aufgrund der einfachen Interpretierbarkeit ihrer Impulsantwort sowie ihrer inherenten Stabilität. In der jüngeren Literatur wurden neue Verfahren zur Vermeidung hoher Parametervarianz durch Wahl einer speziellen Tikhonov-Regularisierung vorgestellt. In dieser Arbeit werden diese Ansätze erweitert, um ein gezieltes Einbringen von Vorwissen zu ermöglichen. Die entwickelte Methode ist sowohl für Gray-Box-Identifikationsverfahren als auch für Ordnungsselektionsverfahren nutzbar. Die Anwendbarkeit wird anhand eines Laborsystems demonstriert.
Lokale Modellnetze ermöglichen die Erweiterung linearer Identifikationsverfahren auf nichtlineare Systeme. Hierbei wird der Regularisierungsmechanismus, der im Rahmen der linearen Verfahren angewendet wird, zur Identifikation der lokalen FIR Modelle genutzt. Besonders für Identifikationsprobleme mit schlechtem Signal-Rausch-Verhältnis zeigt die Methode deutlich bessere Ergebnisse als lokale Modelle mit Rückkopplung des Ausgangs.
Schließlich wird das maschinelle Lernen mit convolutional neural networks untersucht. Das Verhältnis zwischen diesen und blockorientierten nichtlinearen Systemen wird analysiert. Es wird eine spezifische Struktur von tiefen neuronalen Netzen basierend auf FIR Modellen als Netzbestandteilen vorgeschlagen. Bei der Identifikation des neuronalen Netzes wird der gleiche Regularisierungsansatz wie zur Identifikation linearer FIR Modelle verwendet. Es wird gezeigt, dass der Bias-Varianz-Tradeoff dadurch vorteilhaft beeinflust wird und der Ansatz auf einem aktuellen Benchmarkproblem mit den Ergebnissen von Methoden, die dem aktuellen Stand der Forschung entsprechen, verglichen. Hierbei werden vergleichbare Ergebnisse erzielt und zusätzlich glattere interne Impulsantworten und die Stabilität des Systems garantiert.

An accurate and reliable model is the foundation for analysis, design, and control of a modern automation system. It is often too complicated, too expensive, or too inaccurate to develop these models based on first principles. In recent years, machine learning has made tremendous progress through the usage of data to generate models. Nevertheless, a key drawback is that for the identified models there is no stability guarantee. Thus, within this thesis, methods for identifying both linear and nonlinear systems based on finite impulse response (FIR) models are investigated. These avoid feedback and thus ensure stability.
Linear FIR models offer a compelling advantage due to the interpretability of the impulse response and inherent stability. Recently, novel methods for regularization based on a specifically designed Tikhonov regularization have been proposed. In this contribution these approaches are extended to allow for a better incorporation of existing prior knowledge. The developed method can be employed for order selection and gray-box identification. Its feasibility is demonstrated on numerical benchmarks and on a laboratory example.
Local model networks allow for the extension of linear identification methods to nonlinear systems. Here, the regularization mechanism applied to linear systems is employed to identify local FIR models. Especially for identification problems with a low signal to noise ratio, the method performs significantly better than local model networks with feedback of the output.
Finally, machine learning with convolutional neural networks is investigated. The relation between these and block-oriented nonlinear systems is analyzed. Then, a specific structure of a deep neural network containing FIR models as building blocks is proposed. This structure is equipped with a regularization scheme adopted from linear FIR models for the impulse responses comprised in the neural network. It is shown that the bias-variance trade-off is influenced positively on a benchmark example and achieves state-of-the-art results while additionally the internal impulse responses are smoothed and the stability of the system is guaranteed.
DOI: http://dx.doi.org/10.25819/ubsi/10041
URN: urn:nbn:de:hbz:467-21182
URI: https://dspace.ub.uni-siegen.de/handle/ubsi/2118
Appears in Collections:Hochschulschriften

This item is protected by original copyright

Show full item record

Page view(s)

455
checked on Mar 29, 2024

Download(s)

672
checked on Mar 29, 2024

Google ScholarTM

Check

Altmetric


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.