Müller, PatrickPatrickMüller2025-04-252025-04-252025https://dspace.ub.uni-siegen.de/handle/ubsi/2926Deep Neural Networks (DNNs) have proven to be successful in various computer vision applications such that vision models even infer in safety-critical situations. Therefore, the models need to be robust to disturbances such as image noise or blur. While seminal benchmarks exist to evaluate model robustness to diverse image corruptions, blur is often approximated in an overly simplistic way to model e.g. defocus, while ignoring the different blur kernel shapes that result from optical systems. This thesis proposes several test methods and datasets of optical blur corruptions, referred to as OpticsBench and LensCorruptions. OpticsBench examines primary aberrations such as coma, defocus, and astigmatism, i.e. aberrations that can be represented by varying a single parameter of Zernike polynomials and are easy to interpret. The OpticsBench method ensures comparability of the optical blur corruptions to in-size or in-accuracy matched references to investigate relative distribution shifts. To go beyond the principled but synthetic setting of primary aberrations, LensCorruptions samples linear combinations in the vector space spanned by Zernike polynomials, corresponding to real lenses. The evaluation on differently blurred ImageNet-1k images shows that the results for models confronted to the OpticsBench blur and to a disk-shaped reference blur, vary up to 5 % and the class-wise accuracy varies up to 30 % for optical image corruptions against a disk-shaped reference. We therefore conclude that the colour-dependent kernel shape must be taken into account when testing the model robustness as the accuracy cannot be explained sufficiently with the reference blur accuracy. To this end, we provide a large test dataset of optical blur distribution shifts, using the complementary LensCorruptions method, which simplifies future robustness research. The evaluation shows that some models favour certain blur types when confronted with a large number of lens blurs. Since increased image blur is generally detrimental to performance, we also show that the performance loss caused by optical aberrations can be significantly compensated for using the OpticsAugment data augmentation method and demonstrate superior performance compared to a strong baseline on both the proposed optical blur test datasets and 2D and 3D corruptions. Finally, since lens blur generally depends on the image location, a space-variant image blur corruption and corresponding test dataset are discussed on the Berkeley Deep Drive automotive dataset for several object detection models. To analyse how this spatial variance may affect the local performance of object detection models, the local evaluation method SRIA is proposed. In summary, the thesis provides several concepts and methods to test for optical blur corruptions and to improve the model robustness. The combination of these efficient evaluation methods and improvements in model robustness increases the safety of future computer vision systems.DNNs sind aus vielen Bildverarbeitungsanwendungen nicht mehr wegzudenken, so dass Computer-Vision Modelle sogar in sicherheitskritischen Situationen Anwendung finden. Die Modelle müssen daher auch unter Einflüssen wie Bildrauschen oder Unschärfe zuverlässig agieren. Während es grundlegende Benchmarks gibt, um die Robustheit von Modellen gegenüber verschiedenen Bildstörungen zu bewerten, wird Unschärfe oft auf eine zu einfache Art und Weise approximiert, wodurch die verschiedenen charakteristischen Formen des Unschärfekernels, die optische Systeme hervorrufen, ignoriert werden. In dieser Arbeit werden hierzu mehrere Testmethoden und Datensätze für optische Bildunschärfe vorgeschlagen, die wir als OpticsBench und LensCorruptions zusammenfassen. OpticsBench untersucht primäre Aberrationen wie Koma, Defokussierung und Astigmatismus. Diesen Aberrationen ist gemeinsam, dass sie durch Variation eines einzigen Parameters von Zernike-Polynomen dargestellt werden können und leicht zu interpretieren sind. OpticsBench gewährleistet die Vergleichbarkeit der optischen Bildunschärfe mit einer größenangepassten Referenzunschärfe, um relative Distribution Shifts zu untersuchen. In der Erweiterung über die primären Aberrationen hinaus, tastet LensCorruptions, im Gegensatz zu OpticsBench, Linearkombinationen im Vektorraum ab, der von Zernike-Polynomen aufgespannt wird und reale Objektive abbildet. Die Auswertung auf unterschiedlich unscharfen ImageNet-1k-Bildern zeigt, dass Modelle, die mit der OpticsBench-Unschärfe und einer scheibenförmigen Referenzunschärfe konfrontiert werden bis zu 5 % in der Genauigkeit variieren und die klassenweise Genauigkeit bis zu 30 % für optische Bildunschärfen gegenüber einer scheibenförmigen Referenzunschärfe variiert. Daraus schließen wir, dass die farbabhängige Kernelform bei der Prüfung der Robustheit von Modellen berücksichtigt werden muss, da das Modellverhalten nicht ausreichend mit den Ergebnissen für die Referenzunschärfe erklärt werden kann. Zu diesem Zweck stellen wir einen großen Testdatensatz optischer Unschärfen zur Verfügung, bei dem die komplementäre LensCorruptions-Methode verwendet wird, was die zukünftige Robustheitsforschung vereinfacht. Die Auswertung mit einer großen Anzahl von Objektivunschärfen zeigt, dass einige Modelle bestimmte Unschärfetypen bevorzugen. Da eine erhöhte Bildunschärfe im Allgemeinen die Leistung beeinträchtigt, zeigen wir auch, dass der durch optische Aberrationen verursachte Leistungsverlust mit Data Augmentation erheblich kompensiert werden kann, und demonstrieren sowohl bei den vorgeschlagenen Testdatensätzen für optische Unschärfe als auch bei 2D- und 3D Common Corruptions mit OpticsAugment eine überlegene Leistung im Vergleich zu einer starken Referenz. Da die Unschärfe der Objektive im Allgemeinen von den Objektkoordinaten abhängt, werden schließlich eine räumlich variable Unschärfe simuliert und der entsprechende Testdatensatz auf dem BDD-Automobildatensatz für verschiedene Objekterkennungsmodelle diskutiert. Um zu analysieren, wie sich diese räumliche Varianz auf die lokale Leistung von Objekterkennungsmodellen auswirkt, wird die lokale Bewertungsmethode SRIA vorgeschlagen. Zusammenfassend stellt die Arbeit mehrere Konzepte und Methoden zur Verfügung, um auf optische Unschärfe zu testen und die Robustheit von Bildklassifizierungs- und Objektdetektionsmodellen zu verbessern. Die Kombination dieser effizienten Evaluierungsmethoden und der Verbesserung der Modellrobustheit erhöht die Sicherheit zukünftiger Computer-Vision Systeme.enNamensnennung - Nicht-kommerziell - Weitergabe unter gleichen Bedingungen 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-sa/4.0/004 InformatikComputer VisionDeep LearningLens aberrationsLinsenabweichungenDoctoral ThesisKeuper, Margreturn:nbn:de:hbz:467-29267