Conversations in action — designing conversational agents for co-performance

Abstract

Conversational User Interfaces challenge traditional models of human-computer interaction as they shift from visual to auditory communication. While this shift initially seems to simplify human interaction with technology, recent user studies have shown that commercially available Voice Assistants for homes and mobile phones often fail to meet users’ expectations as interactive resources and assistants. The first attempts to improve interaction design have focused on emulating human-human conversations and behaviors. However, there is still a lack of design guidelines for transitioning from information design to communication and interaction design. This work aims to address this gap by conducting a formative study and four design case studies to understand users’ interactions, perceptions, and expectations to derive implications through grounded design. By viewing human language use as both cognitive and social, this research explores the design space of conversational agents using the theoretical lens of Social Practice Theory. Specifically, conceiving conversational agents as carriers of practices in co-performance with humans contributes to the design of supportive and interactive resources. Moreover, the sonification and multimodality of interaction complement voice-first interactions and thus enrich conversational user experiences and further enable engaging interactions. In summary, this thesis contributes to the following fields:

• For CUI, this work uses the theoretical concepts of informative, communicative, and expressive behaviors to analyze and inform the design of conversational agents while providing design implications for future voice-first interactions. • In line with Practice-Based Computing, this thesis presents four design case studies that empirically investigate human practices as performances and entities to derive design implications for conversational agents that act as Carriers of Practices in Coperformance with humans. • For Practice-Based Computing, this research contributes alternative visions for ubiquitous conversational agents that facilitate engaging and meaningful interactions by being proactive and multimodal while matching the home practices and needs of humans.

Konversationelle Benutzerschnittstellen stellen die traditionellen Modelle der Mensch-Computer-Interaktion in Frage, da sie von der visuellen zur auditiven Kommunikation übergehen. Während diese Verlagerung zunächst die menschliche Interaktion mit der Technologie zu vereinfachen scheint, haben jüngste Nutzerstudien gezeigt, dass kommerziell erhältliche Sprachassistenten für Haushalte und Mobiltelefone die Erwartungen der Nutzer als interaktive Ressourcen und Assistenten oft nicht erfüllen. Die ersten Versuche, das Interaktionsdesign zu verbessern, konzentrierten sich auf die Nachahmung von Gesprächen und Verhaltensweisen zwischen Menschen. Es mangelt jedoch noch immer an Gestaltungsrichtlinien für den Übergang vom Informationsdesign zum Kommunikations- und Interaktionsdesign. Diese Arbeit zielt darauf ab, diese Lücke zu schließen, indem sie eine formative Studie und vier Design-Fallstudien durchführt, um die Interaktionen, Wahrnehmungen und Erwartungen der Benutzer zu verstehen und daraus Implikationen anhand des Grounded Design abzuleiten. Durch die Betrachtung des menschlichen Sprachgebrauchs als sowohl kognitiv als auch sozial, exploriert diese Forschung den Designraum von Konversationsagenten unter Verwendung der theoretischen Linse der Sozialen Praxistheorie. Insbesondere die Vorstellung von Gesprächsagenten als Träger von Praktiken, die gemeinsam mit Menschen ausgeführt werden, trägt zur Entwicklung von unterstützenden und interaktiven Ressourcen bei. Darüber hinaus ergänzen die Sonifikation und die Multimodalität der Interaktion die Voice-First-Interaktion und bereichern so die konversationellen Benutzererfahrungen und ermöglichen weitere ansprechende Interaktionen. Zusammenfassend trägt diese Arbeit zu den folgenden Bereichen bei:

• Für CUI verwendet diese Arbeit die theoretischen Konzepte des informativen, kommunikativen und expressiven Verhaltens, um das Design von Konversationsagenten zu analysieren und zu informieren, während sie gleichzeitig Designimplikationen für zukünftige Voice-First-Interaktionen liefert. • Im Einklang mit Practice-Based Computing stellt diese Arbeit vier Design-Fallstudien vor, die empirisch menschliche Praktiken als Performances und Entitäten untersuchen, um daraus Design-Implikationen für Konversationsagenten abzuleiten, die als Träger von Praktiken in Co-performance mit Menschen agieren. • Für Practice-Based Computing trägt diese Forschung zu alternativen Visionen für allgegenwärtige Konversationsagenten bei, die ansprechende und sinnvolle Interaktionen erleichtern, indem sie proaktiv und multimodal sind und gleichzeitig den häuslichen Praktiken und Bedürfnissen der Menschen entsprechen.