Wegmeth, LukasLukasWegmeth2025-10-142025-10-142025https://dspace.ub.uni-siegen.de/handle/ubsi/7166The rapid digitalization of the information age has led to challenges such as information overload, underscoring the critical role of Recommender Systems (RecSys) in organizing and delivering relevant content. Despite their ubiquity, the development of RecSys remains resource-intensive and labor-intensive. Additionally, the environmental impact of RecSys has emerged as a critical yet underexplored concern as modern approaches increasingly employ resource-intensive architectures. The field of Automated Machine Learning (AutoML) has demonstrated significant success in streamlining model development for general machine learning tasks, lowering the barrier of entry for researchers and practitioners by reducing necessary manual labor and expertise while increasing performance. Motivated by their advancements, we investigate the transfer of AutoML principles to RecSys in the framework of Automated Recommender Systems (AutoRecSys) in this dissertation. We focus on solving the automated algorithm selection problem, due to its high relevance for efficient RecSys modeling, and address significant optimization confounders in AutoRecSys. We propose an algorithm selection framework that addresses dataset limitations through community-contributed metadata while offloading computationally intensive meta-learning tasks to server-side components for efficient client-side deployment. Additionally, we provide the first analysis of algorithm selection for ranking prediction tasks with implicit feedback datasets, showing the correlation with ground-truth performance for traditional and AutoML-based meta-models. We quantify the impact of randomness during data splitting, showing that it leads to significant performance deviations unless mitigated through repeated experiments or cross-validation. Furthermore, we analyze the suitability of top-N metrics for optimization, showing that their use in validation does not introduce confounding effects in RecSys evaluation. This reinforces the reliability of conventional evaluation methodologies. Beyond automation and evaluation concerns, we conduct the first comprehensive investigation of the environmental impact of RecSys experiments. We reveal that modern deep learning-based papers emit 42 times more CO2 equivalents than papers employing traditional approaches. Furthermore, we introduce a software tool for measuring and reporting energy consumption in RecSys experiments, enabling researchers to understand and report their environmental impact. Finally, we synthesize our contributions and demonstrate that automated algorithm selection can amortize its environmental impact through widespread adoption. To summarize, this dissertation lays the foundation for future research in algorithm selection through the AutoRecSys framework, further reduces uncertainties for RecSys evaluation methodologies, and helps the RecSys community to understand and address their environmental impact for a sustainable future.Die Digitalisierung des Informationszeitalters führt zu Herausforderungen wie Informationsüberflutung, was die kritische Funktion von Empfehlungsdiensten (engl. recommender systems, kurz RecSys) bei der Organisation und Bereitstellung relevanter Inhalte verdeutlicht. Trotz ihrer Allgegenwärtigkeit bleibt die Entwicklung von RecSys ressourcen- und arbeitsintensiv. Zudem ist die Umweltauswirkung von RecSys zu einem wichtigen, aber noch unzureichend erforschten Thema geworden, da moderne Ansätze zunehmend ressourcenintensive Architekturen verwenden. Das Forschungsgebiet des automated machine learning (AutoML) hat bedeutende Erfolge bei der Vereinfachung der Modellentwicklung gezeigt, indem es den manuellen Aufwand und erforderliche Expertise reduziert und dabei die Leistung steigert. Dadurch angeregt untersucht diese Dissertation die Übertragung von AutoML-Prinzipien auf RecSys im Rahmen von automated recommender systems (AutoRecSys). Da die Algorithmusauswahl für effizientes RecSys-Modellieren besonders relevant ist, konzentrieren wir uns auf die Lösung dieses Problems und behandeln dabei wesentliche Störfaktoren für die Optimierung in AutoRecSys. Wir schlagen ein Algorithmusauswahl-Framework vor, das Datenbegrenzungen durch gemeinschaftlich beigetragene Metadaten überwindet und rechenintensive Aufgaben an Serverkomponenten auslagert, um eine effiziente Bereitstellung zu ermöglichen. Zudem liefern wir die erste Analyse der Algorithmusauswahl für Ranglistenvorhersagen mit impliziten Feedback-Datensätzen und zeigen die Korrelation mit der Leistung für traditionelle und AutoML-basierte Meta-Modelle. Wir quantifizieren den Einfluss von Zufälligkeit bei der Datenaufteilung und zeigen, dass diese zu erheblichen Leistungsabweichungen führt, sofern sie nicht durch wiederholte Experimente oder Kreuzvalidierung behandelt wird. Zudem analysieren wir die Eignung von Top-N-Metriken für die Optimierung und zeigen, dass deren Verwendung keine verzerrenden Effekte in der RecSys-Evaluation bewirkt. Dies bekräftigt die Zuverlässigkeit konventioneller Evaluationsmethoden. Neben Automatisierungs- und Evaluationsfragen führen wir die erste Untersuchung der Umweltauswirkungen von RecSys-Experimenten durch. Wir zeigen, dass moderne Publikationen 42-mal mehr CO2-Äquivalente ausstoßen als Arbeiten mit traditionellen Ansätzen. Zudem stellen wir ein Software-Tool zur Messung des Energieverbrauchs von RecSys-Experimenten vor, das Forschenden ermöglicht, ihre Umweltauswirkungen zu verstehen und zu kommunizieren. Abschließend fassen wir unsere Beiträge zusammen und zeigen, dass automatisierte Algorithmusauswahl ihre Umweltbelastung durch breite Anwendung kompensieren kann. Zusammenfassend legt diese Dissertation die Grundlage für zukünftige Forschung zur Algorithmusauswahl mit AutoRecSys, reduziert Unsicherheiten in der Evaluation und unterstützt die Forschungsgemeinschaft beim Verstehen und Angehen der Umweltauswirkungen von RecSys-Experimenten für eine nachhaltige Zukunft.enAttribution-ShareAlike 4.0 Internationalhttp://creativecommons.org/licenses/by-sa/4.0/004 InformatikRecommender SystemsMachine LearningDeep LearningSustainabilityAutomationAlgorithm SelectionEvaluationDoctoral ThesisJoeran Beelurn:nbn:de:hbz:467-71667