Attentive cognitive agents for real-time virtual environments

Abstract

Virtuelle Umgebungen sind ein effizientes Trainingswerkzeug, besonders wenn Trainingsszenarien durch die Simulation von intelligenten virtuellen Agenten (IVA) unterstützt werden. Dafür muss das Agentenverhalten plausibel und steuerbar sein, um die Immersion nicht zu mindern und das Trainingsziel zu unterstützen. Methoden, mit denen diese Anforderungen erfüllt werden, können jedoch nicht beliebig komplex sein, da oft mehrere Agenten in Echtzeit simuliert werden müssen. Im Rahmen dieser Arbeit stellt sich somit die Aufgabe eine Lösung zu entwickeln, welche die Anforderungen an Plausibilität, Kontrollierbarkeit und Skalierbarkeit zusammen adressiert. Die Plausibilität wird dabei durch das Simulieren kognitiver Prozesse erreicht. Ein Kernelement der entwickelten leichtgewichtigen kognitiven Agentenarchitektur ist ein Persönlichkeitsprofil, das sich auf alle anderen kognitiven Prozesse auswirkt. Somit kann konsistentes, individualisiertes Verhalten erzeugt werden, welches zusätzlich mit Hilfe eines entwickelten, formalen Abbildungsprozesses aus psychologischen Persönlichkeitsstudien abgeleitet werden kann. Durch die Kopplung des Profils mit Emotionen kann das Verhalten dynamisch an die Gegebenheiten eines Agenten angepasst werden. Welche Aktion ein Agent in einer Situation auswählt, beeinflusst ebenfalls die Glaubwürdigkeit. Ein wichtiger Bestandteil dieses Auswahlprozesses ist das Wissen, das ein Agent über seine Umgebung besitzt. Um eine plausible Wissensbasis bereit zu stellen, wurde ein Perzeptionsmodul konzipiert und integriert, das eine einheitliche Sensorschnittstelle definiert und Informationen in einem hierarchischen Gedächtnis durch einen Aufmerksamkeitsprozess verwaltet. Die realisierte Architektur erlaubt erstmalig die Simulation kognitiver Agenten, die gleichzeitig kontrollierbar und in Echtzeit berechenbar sind. Demonstriert wird dies u. a. durch die Umsetzung als Software-Architektur (CAARVE) und eine damit entwickelte agentenbasierte Verkehrssimulation. Die entwickelten Ideen und deren Realisierung wurden im Rahmen der Arbeit anhand verschiedener Strategien evaluiert. Es wird gezeigt wie CAARVE-Agenten, anhand ihrer Persönlichkeiten und Emotionen, verschiedene Verkehrssituationen glaubwürdig auflösen. Die Kontrollierbarkeit und Anpassungsfähigkeit wird ebenfalls in Evaluationsszenarien demonstriert. Die Skalierbarkeit wird durch die Simulation von 200 Agenten in Echtzeit (50 FPS) nachgewiesen. Die Ergebnisse zeigen, dass eine Architektur für das Generieren von plausiblem, kontrollierbarem und echtzeitfähigem Agentenverhalten erfolgreich realisiert wurde. Damit stellt diese Arbeit fundamentale Grundlagen für diejenigen bereit, die kognitive IVA in Echtzeitanwendungen einsetzen wollen.

Intelligent virtual agents provide a framework for simulating more life-like behavior and increasing plausibility in virtual training environments. They can improve the learning process if they portray believable behavior that can also be controlled to support the training objectives. In the context of this thesis, cognitive agents are considered a subset of intelligent virtual agents (IVA) with the focus on emulating cognitive processes to achieve believable behavior. The complexity of employed algorithms, however, is often limited since multiple agents need to be simulated in real-time. Available solutions focus on a subset of the indicated aspects: plausibility, controllability, or real-time capability (scalability). Within this thesis project, an agent architecture for attentive cognitive agents is developed that considers all three aspects at once. The result is a lightweight cognitive agent architecture that is customizable to application-specific requirements. A generic trait-based personality model influences all cognitive processes, facilitating the generation of consistent and individual behavior. An additional mapping process provides a formalized mechanism to transfer results of psychological studies to the architecture. Personality profiles are combined with an emotion model to achieve situational behavior adaptation. Which action an agent selects in a situation also influences plausibility. An integral element of this selection process is an agent's knowledge about its world. Therefore, synthetic perception is modeled and integrated into the architecture to provide a credible knowledge base. The developed perception module includes a unified sensor interface, a memory hierarchy, and an attention process. With the presented realization of the architecture (CAARVE), it is possible for the first time to simulate cognitive agents, whose behaviors are simultaneously computable in real-time and controllable. The architecture's applicability is demonstrated by integrating an agent-based traffic simulation built with CAARVE into a bicycle simulator for road-safety education. The developed ideas and their realization are evaluated within this work using different strategies and scenarios. For example, it is shown how CAARVE agents utilize personality profiles and emotions to plausibly resolve deadlocks in traffic simulations. Controllability and adaptability are demonstrated in additional scenarios. Using the realization, 200 agents can be simulated in real-time (50 FPS), illustrating scalability. The achieved results verify that the developed architecture can generate plausible and controllable agent behavior in real-time. The presented concepts and realizations provide sound fundamentals to everyone interested in simulating IVA in real-time environments.