Human body-enabled methods for the implicit synchronization of distributed wearable systems

Abstract

During the last three decades, wearable computing has experienced an impressive evolution. While single all-round devices, worn at familiar and convenient locations such as the wrist, have been standard for many years, wearables are recently evolving rather into a conglomerate of simultaneously deployed, specialized sensing units that can be attached to various sites with complementary perspectives. Applying cutting-edge sensor fusion and machine learning techniques on the collected multi-device data allows inferring the user's bigger picture with an accuracy superior to that from a single site. However, the applied techniques suffer significantly from the inaccuracies of the devices' internal clocks, the manual temporal alignment of their sensor channels, and hence the recordings' unmatched time bases. The available radio-based online or event-based offline synchronization methods either considerably affect the devices' battery life or often do not achieve the required accuracy. Moreover, both methods demand for the user's explicit interaction to either network the distributed devices or perform specific synchronization actions. This dissertation hypothesizes that attaching devices to the human body can enable technologies and methods that would not be possible without its presence. Two implicit methods are presented to address the lack of accurate and efficient synchronization principles for distributed wearable systems. Therefore, two perspectives are investigated in which the human body is considered first as a source of natural signals and second as a transmission medium to provide artificial signals throughout the body surface. The transfer of the medical sensing modalities electrocardiography and photoplethysmography to a wearable form factor has enabled constant access to the user's vital signs. The first method PulSync leverages the irregular rhythm of the heartbeat, ubiquitously and simultaneously detectable throughout the entire body surface. Modulated by various physiological processes, the inter-beat intervals form patterns in the derived heart rate variability interval function that are unique like a fingerprint and, therefore, can serve as significant landmarks for the offline alignment of recordings in a data-driven post-processing step. The novel communication principle of intra-body communication is somewhat located between traditional wired and wireless techniques while showing advantages over both. The second method IBSync is based on artificial landmark signals that are either consciously or implicitly and incidentally induced into the user's skin by touching or passing areas or objects equipped with transmitter beacons. Obtained from the augmented human body, the detected landmarks are enriched with data, allowing to uniquely align the recordings offline or even allocate landmark positions in the absolute time. Both methods achieved an alignment accuracy in the order of a single sample and show a comparable performance: PulSync with -0.714 ± 3.440 samples and IBSync with 0.800 ± 1.792 samples. Therefore, with the achieved temporal accuracy of 2.86 ms at 250 Hz and 6.25 ms at 128 Hz respectively, the two methods PulSync and IBSync are superior to most available offline synchronization methods and can even keep up with common online methods.

Das Thema Wearable Computing erlebte in den letzten drei Jahrzehnten eine beeindruckende Entwicklung. Bisher werden Wearables meist als Einzelgeräte am Handgelenk getragen. In letzter Zeit entwickeln sie sich jedoch zunehmend zu einem Konglomerat gleichzeitig an verschiedenen Körperstellen platzierter Einheiten, die mit spezialisierten Sensoren komplementäre Perspektiven erfassen können. Die Anwendung moderner Techniken der Sensorfusion und des maschinellen Lernens auf die Messdaten mehrerer Geräte ermöglicht Rückschlüsse auf das Gesamtbild des Nutzers. Die so erreichte Genauigkeit ist die der eines einzelnen Sensors überlegen. Sie leiden jedoch erheblich unter den Ungenauigkeiten der internen Taktgeber, der manuellen Justierung der Sensorkanäle und somit den nicht übereinstimmenden Zeitbasen der Aufzeichnungen. Verfügbare funkbasierte Online- wie auch ereignisbasierte Offline-Synchronisationsmethoden beeinträchtigen entweder erheblich die Batterielaufzeit oder erreichen nicht die erforderliche Genauigkeit. Darüber hinaus erfordern beide Methoden die explizite Interaktion des Nutzers, um die verteilten Geräte zu vernetzen oder bestimmte Aktionen zur Synchronisierung durchzuführen. Diese Dissertation stellt die Hypothese auf, dass die Anbringung von Geräten am menschlichen Körper Technologien und Methoden ermöglicht, die ohne ihn nicht umsetzbar wären. Es werden zwei implizite Methoden vorgestellt, die den Bedarf tragbarer Systeme an genauer und gleichzeitig effizienter Synchronisation bedienen sollen. Dafür werden zwei Perspektiven untersucht, die den Körper zum einen als Quelle natürlicher Signale und zum anderen als Übertragungsmedium künstlicher Signale sehen. Die Übertragung der medizinischen Sensormodalitäten Elektrokardiographie und Photoplethysmographie in ein tragbares Format ermöglicht den ständigen Zugang zu den Vitaldaten des Nutzers. Die erste Methode PulSync nutzt den unregelmäßigen Rhythmus des Herzschlags, der auf der gesamten Körperoberfläche gleichzeitig detektierbar ist. Moduliert durch physiologische Prozesse bilden die Intervalle zwischen den Herzschlägen Muster, die in der abgeleiteten Intervallfunktion der Herzratenvariabilität einzigartig wie ein Fingerabdruck wiedererkennbar sind und in einem datengesteuerten Offline-Nachbearbeitungsschritt als wichtige Orientierungspunkte für die Ausrichtung von Aufzeichnungen dienen. Das neuartige Prinzip der körpergebundenen Kommunikation lässt sich zwischen den traditionellen kabelgebundenen und drahtlosen Techniken ansiedeln, weist jedoch ihnen gegenüber Vorteile auf. Die zweite Methode IBSync basiert auf künstlichen Markierungssignalen, die entweder bewusst oder implizit und zufällig durch Berührung oder Passieren von mit Sendebaken ausgestatteten Flächen oder Gegenständen in die Haut des Nutzers induziert werden. Die vom augmentierten menschlichen Körper gewonnenen Markierungen können mit Daten angereichert werden, um die Zeitreihen offline eindeutig auszurichten oder sogar die Positionen der Markierungen einer absoluten Zeit zuzuordnen. Beide Methoden erreichten eine Genauigkeit in der Größenordnung eines Samples und zeigen eine vergleichbare Leistung: PulSync mit -0.714 ± 3.440 Samples und IBSync mit 0.800 ± 1.792 Samples. Mit einer Genauigkeit von 2.86 ms bei 250 Hz und 6.25 ms bei 128 Hz sind die zwei Methoden \glsname{pulsync} und \glsname{ibsync} daher den meisten verfügbaren Offline-Synchronisationsmethoden überlegen und können sogar mit den gängigen Online-Methoden mithalten.