↘

SPEAKING
GESTURES

Advanced orientation in the Internet of Things

»Are we really going to accept an Interface of The Future that is less expressive than a sandwich?« – Bret Victor (1)

The objects in our everyday lives are becoming increasingly intelligent and autonomous. They are networked – exchanging, collecting and processing data – all in the background. Mark Weiser predicted in 1991 that computing power would become »so ubiquitous that no one will notice their presence« (2). As the power of technical systems increases, communication with the outside world is often reduced to the display of discrete system states in the form of icons, lights and (warning) sounds.

At the human level, subtle gestures and movements, such as the tilt of the head, the wrinkling of the nose or the slump of the shoulders, often allow us to anticipate the intention or state of mind of our counterpart and, ultimately, to cooperate.

Speaking Gestures examines the qualities that posture, movement, small and large gestures have to offer to communicate with our environment. The project experimentally explores the extent to which animation principles such as Disney, physical analogies and other forms of non-verbal communication can be used to build on intrinsic behavioural patterns and design meaningful interactions with smart objects and autonomous systems.

In addition to the identification and definition of appropriate application areas, the design of processes and interaction scenarios has been specifically investigated.

(1)
Victor, B. (2011). The Future of Interaction Design ↗ Visited: 21.02.2024

(2)
Weiser, M. (1991). The Computer for the 21st Century. Scientific American, 265(3), S. 94.

Supervision
Prof. Erich Schöls ↗
Prof. Judith Glaser
Summer Term 2024

↘

Teil des Schwarms

Elias Hansbauer ↗

Jeder weiß, wie man mit einem Hund oder einer Katze durch Sprache und Gestik interagiert, doch niemand macht sich Gedanken, welche Gesten man benutzen würde, um sich einen Fisch oder einem Schwarm anzunähern. Mit diesen spannenden Gedanken habe ich mich experimentell und prozessorientiert auseinandergesetzt. Daraus entstanden ist das visuelle Erlebnis Teil des Schwarms, aufgebaut in p5.js mit Handtracking Einbindung und Boids Simulation.

Teil des Schwarms ist ein interaktives Experiment, das die Interaktion zwischen Mensch und algorithmischem Schwarm erforscht. Das System nutzt Handtracking, um die Bewegungen und Gesten der Betrachtenden zu erkennen.

Durch diese Gesten können Besucher:innen direkt das Verhalten und die Dynamik eines digitalen Schwarms beeinflussen. Das Projekt lädt dazu ein, die Komplexität und Schönheit von Schwarmintelligenz auf eine neue, interaktive Weise zu erleben.

↘

Quest

Leonie Rossnagel, Lisa-Marie Schneider

»Interact with me and experience a new way of communication.«

Gestures hold great significance in our society today. They are open to various interpretations and can have completely different meanings depending on the cultural context. In our increasingly digitalized world, gestures have remained an indispensable part of communication, which led to the invention of the smiley.

Now, artificial intelligence (AI) has become an integral part of our digital world and thus our everyday lives. Where are its (own) gestures? What if communication happens differently from what we are used to? We wanted to create something that works entirely independently of our current gestures. Thus, Quest was born, bringing a new way of communication between AI and humans.

↘

Ikarus

Lisa Jahreiss

Das Projekt Ikarus bewegt sich auf der Grenze zwischen Design und Kunst, indem es Gestensteuerung auf unkonventionelle Weise einsetzt. Inspiriert von den Gesten beim Rauchen einer Zigarette, werden diese Bewegungen in einen neuen Kontext gesetzt und durch drei experimentelle Drahtgestelle künstlerisch interpretiert. Diese Gestelle zwingen den Betrachter, bestimmte Gesten auszuführen, um die Interaktivität des Kunstwerks zu erleben. Jedes Drahtgestell ist mit Sensoren ausgestattet, die es ermöglichen, die projizierten Bilder in Echtzeit zu verändern. Diese Interaktivität lädt dazu ein, aktiv mit dem Kunstwerk zu interagieren und eigenen Bewegungen in abstrakte, visuelle Muster zu übersetzen.

Die Drahtgestelle sind auf einer Stehle unter einem Moskitonetzzelt platziert, das als Projektionsfläche dient. Dadurch entsteht ein Raum, in dem die Projektion um die Person im Zelt herum passiert. Kunst und Technik verschmelzen hier, sodass die Schönheit der Gesten neu erfahrbar wird.

↘

Cybernetic Workstation

Bjarne Hauschildt

Ausgehend von der Frage wie eine Gestik des Computers aussehen kann, erkundet dieses in interdisziplinärer Kooperation entstandene Projekt theoretische Ansätze der Kybernetik und versucht herauszufinden welche Aspekte sie in einer, in ästhetischer Praxis begründeten, Untersuchung prägen. Das Objekt besteht aus einem digitalen Interface über das, in Konversation mit einer, Stafford Beer‘s Persönlichkeit nachahmenden KI verschiedene Interaktionen mit einigen physischen Elektrogeräten möglich sind. Ziel ist die niedrigschwellige Vorstellung von kybernetischen Ideen und systemischen Gedankengängen.

Das Projekt ist maßgeblich von einer ersten, naiven Lesung der Texte von Stafford Beer, Gui Bonsiepe und Margaret Mead geprägt.

Größter Dank geht an die Menschen außerhalb des Kontextes des Kurses, die das Projekt maßgeblich unterstützt und geprägt haben: Niyazi Ertut, Jakob Raue, Robin Jürgens, Lilly Achleitner, Marinus Paul.

Digital Practices

↘

SPEAKING GESTURES