Impact of Visual Range Optical Blur Aberrations on Deep Learning based Models for Image Classification and Object Detection

DNNs sind aus vielen Bildverarbeitungsanwendungen nicht mehr wegzudenken, so dass Computer-Vision Modelle sogar in sicherheitskritischen Situationen Anwendung finden. Die Modelle müssen daher auch unter Einflüssen wie Bildrauschen oder Unschärfe zuverlässig agieren. Während es grundlegende Benchmarks gibt, um die Robustheit von Modellen gegenüber verschiedenen Bildstörungen zu bewerten, wird Unschärfe oft auf eine zu einfache Art und Weise approximiert, wodurch die verschiedenen charakteristischen Formen des Unschärfekernels, die optische Systeme hervorrufen, ignoriert werden. In dieser Arbeit werden hierzu mehrere Testmethoden und Datensätze für optische Bildunschärfe vorgeschlagen, die wir als OpticsBench und LensCorruptions zusammenfassen.
OpticsBench untersucht primäre Aberrationen wie Koma, Defokussierung und Astigmatismus. Diesen Aberrationen ist gemeinsam, dass sie durch Variation eines einzigen Parameters von Zernike-Polynomen dargestellt werden können und leicht zu interpretieren sind. OpticsBench gewährleistet die Vergleichbarkeit der optischen Bildunschärfe mit einer größenangepassten Referenzunschärfe, um relative Distribution Shifts zu untersuchen. In der Erweiterung über die primären Aberrationen hinaus, tastet LensCorruptions, im Gegensatz zu OpticsBench, Linearkombinationen im Vektorraum ab, der von Zernike-Polynomen aufgespannt wird und reale Objektive abbildet. Die Auswertung auf unterschiedlich unscharfen ImageNet-1k-Bildern zeigt, dass Modelle, die mit der OpticsBench-Unschärfe und einer scheibenförmigen Referenzunschärfe konfrontiert werden bis zu 5 % in der Genauigkeit variieren und die klassenweise Genauigkeit bis zu 30 % für optische Bildunschärfen gegenüber einer scheibenförmigen Referenzunschärfe variiert. Daraus schließen wir, dass die farbabhängige Kernelform bei der Prüfung der Robustheit von Modellen berücksichtigt werden muss, da das Modellverhalten nicht ausreichend mit den Ergebnissen für die Referenzunschärfe erklärt werden kann. Zu diesem Zweck stellen wir einen großen Testdatensatz optischer Unschärfen zur Verfügung, bei dem die komplementäre LensCorruptions-Methode verwendet wird, was die zukünftige Robustheitsforschung vereinfacht. Die Auswertung mit einer großen Anzahl von Objektivunschärfen zeigt, dass einige Modelle bestimmte Unschärfetypen bevorzugen. Da eine erhöhte Bildunschärfe im Allgemeinen die Leistung beeinträchtigt, zeigen wir auch, dass der durch optische Aberrationen verursachte Leistungsverlust mit Data Augmentation erheblich kompensiert werden kann, und demonstrieren sowohl bei den vorgeschlagenen Testdatensätzen für optische Unschärfe als auch bei 2D- und 3D Common Corruptions mit OpticsAugment eine überlegene Leistung im Vergleich zu einer starken Referenz. Da die Unschärfe der Objektive im Allgemeinen von den Objektkoordinaten abhängt, werden schließlich eine räumlich variable Unschärfe simuliert und der entsprechende Testdatensatz auf dem BDD-Automobildatensatz für verschiedene Objekterkennungsmodelle diskutiert. Um zu analysieren, wie sich diese räumliche Varianz auf die lokale Leistung von Objekterkennungsmodellen auswirkt, wird die lokale Bewertungsmethode SRIA vorgeschlagen. Zusammenfassend stellt die Arbeit mehrere Konzepte und Methoden zur Verfügung, um auf optische Unschärfe zu testen und die Robustheit von Bildklassifizierungs- und Objektdetektionsmodellen zu verbessern. Die Kombination dieser effizienten Evaluierungsmethoden und der Verbesserung der Modellrobustheit erhöht die Sicherheit zukünftiger Computer-Vision Systeme.