Improved training approaches for embedded learning with heterogeneous sensor data

Abstract

Die im Rahmen dieser Doktorarbeit veröffentlichten Arbeiten behandeln wichtige Herausforderungen in den Bereichen Annotation und Synchronisation von Sensordaten, datengetriebene Studien im Bereich der Mensch-Computer-Interaktion sowie des maschinellen Lernens im Zusammenhang mit multimodalen Aktivitätsdaten. Konkret werden Annotation-Workflows auf ihre Robustheit hin untersucht, ein Algorithmus zur verbesserten Synchronisation verschiedener Beschleunigungsdaten vorgestellt und potenzielle Datenverzerrungen in überwachten Studien mit menschlichen Probanden untersucht. Im Rahmen der Studien werden Deep-Learning-Methoden für die Analyse menschlicher Aktivitäten auf der Grundlage von Sensordaten eingesetzt. Darüber hinaus wurde ein umfangreicher Datensatz von Bewegungsdaten von Basketballspielern veröffentlicht. Schließlich wird die Anwendbarkeit von Deep-Learning-Techniken, insbesondere des Transfer Learnings und der Data Augmentation, auf Sensordaten untersucht.

Das erste Kapitel der Arbeit beleuchtet benutzerorientierte Studien im realen Leben für die Erkennung menschlicher Aktivitäten, engl. Human Activity Recognition (HAR), und stellt das Activate-System vor. Dieses System ermöglicht ad-hoc Datensammlung mithilfe einer Smartwatch und einer Smartphone-App. Darüber hinaus bewertet eine vorgestellte Benutzerstudie Datensammlungs- und Annotationsmethodiken. Eine 2-wöchige Studie vergleicht Selbstberichtstagebücher und in situ Annotationsmethoden und zeigt, dass die Visualisierung von Sensordaten als Zeitreihen die Recall-Genauigkeit der Probanden verbessert. Zusätzlich wird ein Algorithmus präsentiert, der Signale von mehreren am Körper getragenen Sensoren mittels Kreuzkorrelationen von Beschleunigungssignalen synchronisiert. Schließlich wird der Hawthorne-Effekt analysiert, indem Aktivitätsdaten mittels tragbarer Sensorik von Probanden gesammelt werden, während diese einersets beobachtet und andererseits unbeobachtet Fitnessaktivitäten ausführen. Der Hawthorne-Effekt besagt, dass Studienteilnehmer ihr Verhalten ändern, sobald ihnen bewusst wird, dass sie an einer Studie teilnehmen oder beobachtet werden.

Der zweite Schwerpunkt liegt auf der Erkennung von Aktivitäten in komplexen Umgebungen wie dem Sport, insbesondere im Basketball. Eine Vorstudie zeigt die Machbarkeit der Erkennung feingranularer Basketballaktivitäten mithilfe eines einzigen am Handgelenk getragenen Inertialsensors. Der Hang-Time HAR-Datensatz mit Daten von 24 Spielern umfasst periodische, sporadische und komplexe Basketballbewegungen, die eine umfassende Klassifizierung durch Deep Learning ermöglichen.

Der letzte Schwerpunkt fokussiert sich auf die Umsetzung von Transfer Learning und Data Augmentation für sensorbasierte Aktivitätserkennung. Umfangreiche Experimente bewerten die Übertragbarkeit von Modellen bzgl. der Orientierung der getragenen Sensorik, Sensormodalitäten und Datendomäne. Die Ergebnisse zeigen eine hohe Variabilität, abhängig von spezifischen Faktoren wie der Position des Sensors am Körper, und verschlechtern sich, wenn Quell- und Zielbereiche der Daten signifikant voneinander abweichen. Auch die Data Augmentation mit Generative Adversarial Networks (GANs), wird erforscht, wobei die synthetische Datengenerierung benutzer- und faltweise verglichen wird. Die Erweiterung der Datensatzgröße um den Faktor fünf verbessert den F1-Score um 11,0% für die benutzerweise Augmentierung und 5,1% für die faltweise Augmentierung.

The papers published as part of this doctoral thesis address significant challenges in the areas of annotation and synchronization of datasets, data-driven studies in the field of human-computer interaction, and machine learning related to multimodal activity data. Specifically, annotation workflows are examined for their robustness, an algorithm for improved synchronization of different acceleration data is presented, and potential data distortions in supervised studies involving human subjects are investigated within the context of a data-driven study. Advanced deep learning methods are employed for the analysis of human activities based on sensor data. Furthermore, an extensive dataset of motion data from basketball players has been released. Finally, the applicability of deep learning techniques, specifically Transfer Learning and Data Augmentation, to sensor data is explored.

The first research field explores real-world user studies for HAR and introduces the Activate-System. This system enables ad-hoc data collection using a smartwatch and smartphone app. Furthermore, a presented user study evaluates and improves data collection and annotation methodologies. A 2-week study compares self-report diaries and in-situ annotation techniques, finding visualizing sensor data as time series improves recall accuracy. Additionally, I present an algorithm that synchronizes signals from multiple on-body sensors by exploiting cross-correlations of acceleration signals. Finally, the Hawthorne Effect is analyzed by collecting observed and unobserved data. This effect suggests that study participants alter their behavior once they are aware of being part of a study or under observation.

The second focus is recognizing activities in complex environments like sports, specifically basketball. A preliminary study shows the feasibility of detecting fine-grained basketball activities using a single wrist-worn inertial sensor. The Hang-Time HAR dataset, with data from 24 players, encompasses periodic, sporadic, and complex basketball movements, enabling comprehensive classification through deep learning.

The third contribution focuses on transfer learning and data augmentation for sensor-based activity recognition. Extensive experiments assess model transferability across sensor positions, modalities, and activity domains. Results reveal high variability depending on specific factors, such as body location, and deteriorating when source and target domains differ significantly. Data augmentation with GAN is also explored, comparing user-wise and fold-wise synthetic data generation. Expanding the dataset size by a factor of five improves the F1-Score by 11.0% for user-wise augmentation and 5.1% for fold-wise augmentation.