mail@gyoergy-pongracz.de

Technik

In meiner Arbeit verknüpfe ich in Echt-Zeit körperliche Aktionen und Interaktionen mit Klang- und Bild-“Kompositionen“ im virtuellen kybernetischen Raum.
Mein Ziel ist die Herausbildung von Fähigkeiten, Kenntnissen und Motivationen zur Schaffung von computergestützten Environments für interaktive Klang- und Video Installationen bzw. Performances.

Die Komposition virtueller Environments basiert auf der Verwendung des Camera-Motion-Tracking- Systems "EyesWeb".
Das Programm "EyesWeb" wurde an der Universität von Genua im Rahmen eines EU-Projektes (MEGA) entwickelt. In diesem Projekt ging es um die Modellierung und Kommunikation von expressiven und emotionalen Inhalten in eine nonverbale Interaktion über ein multisensorisches Interface. Der Fokus lag dabei auf musikalische und tänzerische Darstellungen.

"EyesWeb" ist in der Lage, audiovisuelle Daten aufzunehmen, zu verarbeiten, zu interpretieren und in einer neuen Form wieder auszugeben. Ziel war es dabei, in den Darstellungen emotionale Stimmungen wie Freude, Wut, und Angst zu identifizieren, um Körpersprache mit dem Computer deuten zu können.

"EyesWeb" verbindet ber verschiedenste Parameter physische Aktionsräume mit computergenerierten Multimediaräumen.
Körperliche Bewegungen werden in Echt-Zeit mit Klang- und Bild-Prozessen verbunden. Die interaktiven Räume können sowohl im Kontext choreographischer und dramaturgischer Konzepte wie auch als offene Environments oder Installationen entwickelt werden.
Ich habe mehrere kleine experimentale Projekte realisiert.
Für den künstlerischen Prozess habe ich die nächsten technischen Methoden probiert:

- Bewegungserfassung/Analyse/Transformation mit Kinect/Eyesweb
- Interaktive Echtzeitsteuerung von elektronischen Medien mit Körperbewegung
- Live Generierung Musik und Visuals mit ein/zwei Performern

Ästhetische Frage: was passiert, wenn unsere Körperbewegung in einen numerischen Code übersetzt, analysiert, weiterverarbeitet und für Steuerung für andere technische Prozesse eingesetzt ist?

Aufbau der digitalen Bühne mit Kinect-Kamera

Funktionsweise der digitalen Bühne:

Die Kinect-Kamera besteht aus einem RGB-Sensor mit VGA Auflösung, einem 16-Bit- Tiefensensor und einem Array aus vier Mikrofonen.
Zur Tieferkennung wirft die in die Kinect-Kamera eingebaute Infrarotlampe ein definiertes Punktmuster auf die Umgebung. Die Kamera kann anhand der Abweichungen der reflektierenden Lichtpunkte ihren Abstand bestimmen.
Die Kamera kann den kompletten Körper als Vektor-Skelett mit 15 Knotenpunkten erfassen.
Kinect gibt die Position jedes Knotenpunktes anhand dreier Raumkoordinaten in x-, y- und z-Richtungen an.
Die EyesWeb kann verschiedene Bewegungsparameter von diesen Daten auslesen.
z.B. Bewegungsmenge, Symmetrie der Bewegung, Bewegungspfad, Geschwindigkeit, Beschleunigung, Körper-Kontraktion usw. Die Raumkoordinaten und die andere Parameter werden für Steuerung von Sound und Visuals benutzt.

Eine mögliche Anwendung

EYESWEB Programmbeispiel

 

[DigitalStage] [VIDEOS] [Technik] [Projects] [Links] [Kontakt]