Sommerhoff, HendrikHendrikSommerhoff2026-08-172026-08-172026https://dspace.ub.uni-siegen.de/handle/ubsi/11193Modern digital imaging pipelines transform incident light from the physical world into high-level semantic information for a variety of applications, such as medical imaging, robotics, visualization, and autonomous driving. They consist of multiple stages, including the focusing of light on an image sensor by optical systems, the measurement on the sensor itself, and further processing by an image signal processor (ISP) that also reduces noise and other errors from the measurement process, before the image is consumed by a task-specific algorithm such as a deep neural network. Conventionally, the training of the network is largely decoupled from the rest of the components, which are typically optimized for general-purpose use cases or human perception. This thesis investigates how imaging pipelines can be improved (i) as a whole by jointly optimizing sensor parameters and downstream learning-based algorithms, and (ii) by developing efficient low-level reconstruction and error-removal methods to handle the unavoidable imperfections introduced in the measurement process. The first part of this thesis focuses on the task-driven design of sensors. It develops methods to optimize the physical position of pixels on a sensor and the shape of spectral color filters, jointly with a downstream neural network to solve specific tasks. Although learned sensor layouts show a significant improvement in a variety of tasks compared to uniform grids, no such improvement could be found for learned spectral color filters in experiments for the specific task of semantic segmentation in autonomous driving, suggesting that, in this setting, the information gained from the spatial positioning of pixels is more impactful than fine-grained spectral information. The second part of the thesis improves the handling of imperfect measurements through several methods. It includes a provably convergent plug-and-play variational scheme with learned priors for solving inverse problems, a generic depth image enhancement method utilizing normal consistency constraints, and an outlier-robust point-based rendering algorithm that can directly render very noisy point clouds produced by depth sensors.Moderne digitale Bildgebungsverfahren transformieren einfallendes Licht aus der realen Welt in semantische Informationen für eine Vielzahl von Anwendungen, wie in der medizinischen Bildgebung, der Robotik, der Visualisierung und dem autonomen Fahren. Diese Bilderverarbeitungs-Pipelines bestehen aus mehreren Stufen, darunter die Fokussierung des Lichts auf einen Bildsensor durch optische Systeme, die Messung auf dem Sensor selbst, sowie die Verarbeitung durch einen Image Signal Processor (ISP), der unter anderem Rauschen und andere Fehler aus dem Messprozess reduziert, bevor das resultierende Bild von einem Algorithmus (wie einem neuronalen Netz) weiterverarbeitet wird. Normalerweise ist das Training des Netzes weitgehend von den anderen Komponenten entkoppelt. Diese werden oft für allgemeine Anwendungsfälle oder für die menschliche Wahrnehmung optimiert. Diese Arbeit untersucht, wie solche Pipelines in der Bildverarbeitung (i) als Ganzes durch die gemeinsame Optimierung von Sensorparametern und lernbasierten Algorithmen verbessert werden können und (ii) wie effiziente Rekonstruktions- und Korrekturverfahren entwickelt werden können, um die unvermeidbaren Fehler in den Bilddaten zu behandeln. Der erste Teil dieser Arbeit konzentriert sich auf dem Design von Sensoren für spezifische Aufgaben. Es werden Methoden entwickelt, um das Layout von Pixeln auf einem Sensor sowie die Form spektraler Farbfilter gemeinsam mit einem nachgelagerten neuronalen Netz für eine spezifische Aufgabe zu optimieren. Während gelernte Sensorlayouts in einer Vielzahl von Aufgaben gegenüber gleichmäßig verteilten Pixeln deutliche Verbesserungen zeigen, ließ sich ein solcher Vorteil für gelernte Farbfilter durch Experimenten zur semantischen Segmentierung im autonomen Fahren nicht nachweisen. Dies deutet darauf hin, dass in diesem Szenario die durch die räumliche Anordnung der Pixel gewonnene Information mehr Einfluss hat als feiner aufgelöste spektrale Information. Der zweite Teil der Arbeit verbessert die Verarbeitung fehlerbehafteter Bilddaten durch verschiedene Verfahren. Er umfasst ein Plug-and-Play Verfahren mit nachweislicher Konvergenz und gelernten Regularisierern zur Lösung inverser Probleme, eine generische Methode zur Verbesserung von Tiefenbildern sowie einen punktbasierten Renderalgorithmus, zum Rendern von Punktwolken mit starkem Rauschen.enAttribution 4.0 Internationalhttp://creativecommons.org/licenses/by/4.0/004 InformatikBildverarbeitungImage processingMachine learningMaschinelles LernenSensoroptimierungSensor optimizationDoctoral ThesisKolb, Andreasurn:nbn:de:hbz:467-111938