Please use this identifier to cite or link to this item: https://nbn-resolving.org/urn:nbn:de:hbz:467-8040
Files in This Item:
File Description SizeFormat
loepprich.pdf80,56 MBAdobe PDFThumbnail
View/Open
Dokument Type: Doctoral Thesis
Title: Lokalisation und Verfolgung von Personen in Echtzeit unter Verwendung kooperierender 2D/3D-Kameras
Other Titles: Real-Time localization and tracking of persons using cooperative 2D/3D-cameras
Authors: Loepprich, Omar Edmond 
Institute: NRW-Zentrum für Sensorsysteme (ZESS) 
Free keywords: 2D/3D-devices, surveillance system, multiple simultaneously operating MultiCams
Dewey Decimal Classification: 004 Informatik
GHBS-Clases: TUH
TVVC
TVVG
Issue Date: 2013
Publish Date: 2014
Abstract: 
Die grundsätzliche Zielsetzung von intelligenten Systemen zur Überwachung von Innenräumen
besteht in der automatisierten Interpretation von Aktionen in dem zu betrachtenden Gebiet. Eine
Prämisse hierfür ist die Fähigkeit der Detektion, Lokalisation, Verfolgung und Klassifikation von
Objekten im entsprechenden Zielbereich.
Entscheidend für die Konzeption eines Überwachungssystems ist weiterhin das primäre
Einsatzgebiet. Während für kleine Überwachungsbereiche und unter der Annahme nur weniger
gleichzeitig vorhandener Objekte eventuell die Verwendung eines einzelnen Sensorsystems
ausreicht, bedarf es im Fall größerer Bereiche, mit mehreren gleichzeitig vorhandenen und zu
verfolgenden Objekten, in der Regel einer verteilten und miteinander kooperierenden Sensorik.
Ein in letzter Zeit verstärkt verfolgter Ansatz zur Steigerung der Leistung der Prozesse von
Detektion, Lokalisation und Klassifikation liegt dabei in der Verwendung einer Kombination von
2D- und 3D-Informationen, welche, je nach Anforderung, auf Pixel-, Merkmal- oder
Entscheidungsebene miteinander fusioniert werden. Die Kombination unterschiedlicher Systeme
zu 2D/3D-Messsystemen ist jedoch keineswegs trivial. Zunächst bedarf es im Falle der
Betrachtung beweglicher Objekte einer zeitlichen Synchronisation der anfallenden Daten. Im
Hinblick auf eine effektive Fusion ist weiterhin eine Registrierung der Daten der unterschiedlichen
Quellen notwendig. Tritt zusätzlich die Notwendigkeit einer koordinierten Verwendung mehrerer
Systeme auf, so kann das aufgrund der sich ergebenden Komplexität in Bezug auf die Handhabung
der informationsliefernden Einheiten in einer inakzeptablen Operation des Gesamtsystems
münden.
Die am Zentrum für Sensorsysteme (ZESS) entwickelte MultiCam, ein zurzeit einmaliges
Sensorsystem zur kombinierten Akquisition von CMOS-basierten Intensitäts- (2D) und Time-ofFlight (ToF) basierten Distanzdaten (3D) einer gesamten Szene, erlaubt aufgrund ihres
monokularen Aufbaus eine drastische Vereinfachung der Registrierung der 2D- und 3DInformationen. Weiterhin ermöglicht die interne Logik, untergebracht in einem dedizierten FPGA,
eine akkurate Synchronisation der unterschiedlichen Informationsströme. Durch die Reduktion der
Komplexität der Prozesse der Registrierung sowie Synchronisierung der 2D- und 3D-Daten bietet
sich die Möglichkeit der Kombination einer Vielzahl von simultan operierenden MultiCams zu
einem Überwachungssystem an, mit im Vergleich zu konventionellen 2D/3D-Systemen drastisch
vereinfachter Handhabung.
Bedingt durch den Einsatz der ebenfalls am ZESS entwickelten Beleuchtungseinheiten, erlauben
die im Rahmen dieser Arbeit verwendeten MultiCams die Überwachung eines Distanzbereichs bis
ca. 9 m bei einer Bildwiederholrate von 20 Bildern pro Sekunde. Dieses entspricht einem
Entfernungsbereich, der zurzeit von ToF-Systemen vergleichbarer Art nur unter Einsatz erhöhter
Integrationszeiten und somit reduzierter Bildwiederholraten abgedeckt werden kann. Weiterhin
ergibt sich durch die Verwendung einer Linse mit einer Brennweite von 6mmdie Möglichkeit der
Überwachung von Volumina, in denen sich mehrere Personen simultan aufhalten und miteinander
interagieren können. In Verbindung mit der vorhandenen Zeitauflösung kann damit der
Bewegungsdynamik der Objekte effektiv Rechnung getragen werden. Aufgrund der genannten
Eigenschaften eignet sich die MultiCam somit ideal zur Detektion, Lokalisation, Verfolgung und
Klassifikation von Objekten in Innenräumen.
Durch die Verwendung der Informationen von mehreren, simultan operierenden MultiCams mit
verschiedenen Ausrichtungen und einem sich teilweise überlappenden Sichtbereich, lässt sich
weiterhin eine direkte Erweiterung des Überwachungsbereichs sowie eine Reduktion durch
gegenseitige Objektverdeckungen induzierten Uneindeutigkeiten erreichen und ermöglicht die
Erzeugung von Objekttrajektorien mit einem erhöhten Informationsgehalt.

Dem Problem der anfallenden Datenmenge, die durch die Verwendung mehrerer simultan
operierender MultiCams entsteht, wird durch den Einsatz eines agentenbasierten verteilten
Systems begegnet.

Informationsliefernde Agenten, bestehend aus einer MultiCam mit zugehöriger
Prozessierungseinheit, übernehmen die Erzeugung von lokalen Informationen bzw. Features bzgl.
der aus ihrer Sicht vorhandenen Objekte und senden diese in Form eines Statusvektors an einen
zur Fusion aller Informationen zuständigen Agenten. Weiterhin können aufgrund der gegenseitigen
Unabhängigkeit der informationsliefernden Agenten die Daten der vorhandenen MultiCams
parallel bearbeitet werden, was eine einfache Skalierung des Gesamtsystems erlaubt.

The fundamental objective of intelligent systems targeted towards surveillance of indoor areas lies
in the automated interpretation of actions within the monitored space. One premise therefore is the
ability to detect, localize, track and classify objects within the surveyed area
In terms of system design, it’s also crucial to incorporate the targeted application area. For the case
of surveillance of just relatively small volumes and with the additional assumption that only very
few objects are simultaneously present within the detection area, data from a single sensor might
be sufficient in order to infer adequate information. Increasing the area to be monitored and also
allowing multiple objects to dynamically interact in the space to be surveyed, usually leads to the
necessity to apply multiple distributed sensor systems which, in order to generate useful
information, have to work together in a cooperative manner.
One in recent times increasingly adopted approach in order to increase the performance of
detection, localization and classification is to utilize a combination of devices delivering 2D- and
3D-data. Depending on the requirement, fusion of the information is then done on pixel-, feature or decision-level. The combination of different systems in a 2D/3D-measurement device is not
trivial, though. In case of taking moving objects into account, there’s a necessity to provide an
adequate temporal synchronisation mechanism between the participating devices. With regard to
an effective fusion process, the process of registration of the acquired data needs also to be
applied. Furthermore, by combining multiple of such 2D/3D-devices into one all encompassing
system, the additional need for a coordinated management emerges. Having to cope with all of the
aforementioned points might well lead to a system complexity which is intricate to handle and
which in turn might result in an unacceptable overall system performance.
The at the Center for Sensorsystems (ZESS) developed MultiCam, an at the moment unique sensor
system usable to acquire a combination of CMOS-based intensity (2D) and Time-of-Flight (ToF)
based distance information (3D) of a complete scene. Due to the monocular set-up, a drastic
simplification of the process of image registration of the 2D- and 3D-images is attained.
Furthermore, the internal logic, situated in an embedded FPGA, permits an accurate temporal
synchronisation of the different information streams. Due to the reduction of the overall
complexity of the processes of registration and temporal synchronisation of the 2D- and 3D-data, it
is feasible to combine a multitude of simultaneously operating MultiCams to a surveillance system
with, in comparison with conventional 2D/3D-systems, a drastic simplification in terms of
handling.
The additional application of the also at the ZESS developed dedicated MultiCam illumination
units enables to supervise an area up to a distance of maximal 9mat a camera frame rate of 20fps.
With similar ToF devices, the same distance range can only be achieved by an increase of the
sensor integration times and which in turn directly leads to a reduced frame rate. Furthermore, as a
result of the utilization of a lens with a focal length of 6mm, it is possible to monitor volumes in
which multiple persons can simultaneously be present and also interact with each other. Due to the
available temporal resolution, one can account for the dynamic behaviour of the objects
effectively. As a results of all of the aforementioned properties, the MultiCam is ideally suited for
the detection, localization, tracking and classification of objects in indoor areas.
Through the combination of multiple simultaneously operating MultiCams with different
orientations and partially overlapping field of views, it is possible to directly extend the surveyed
area and also reduce the amount of mutual object occlusion. This directly leads to the generation of
object trajectories with an increased information content.
In order to respond to the amount of data generated by the simultaneous operation of multiple
devices, an agent based system is utilized. Information delivering agents, composed of one
MultiCam with dedicated processing unit, are responsible for the direct processing of the acquired
raw sensor data. Based on their view onto the scene, they generate information in form of a local
status vector which they send to a dedicated fusion agent. This fusion agent is in turn responsible
for the combination of all of the local information received into one global status vector. Due to the mutual independence of the participating agents, parallel processing
of the acquired data is inherently possible which in turn results in the possibility to be able to scale
the system in an easy manner.
URN: urn:nbn:de:hbz:467-8040
urn:nbn:de:hbz:467-8040
URI: https://dspace.ub.uni-siegen.de/handle/ubsi/804
License: https://dspace.ub.uni-siegen.de/static/license.txt
Appears in Collections:Hochschulschriften

This item is protected by original copyright

Show full item record

Page view(s)

139
checked on Oct 25, 2020

Download(s)

22
checked on Oct 25, 2020

Google ScholarTM

Check


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.