IterNoise
Der Schmetterling-Effekt in der Psychiatrie ist ein passender Titel aus einem wissenschaftlichen Artikel, der über eine Fallstudie erklärt, wie kleine Geschehnisse oder verborgene traumatische Erfahrungen die psychische Gesundheit einer Person ändern können, welche auditive oder visuelle Halluzinationen als häufige Symptome bewirken (z.B. in Schizophrenie).
Diese interaktive Skulptur adressiert auditiven Halluzinationen, die durch interne und externe Ereignisse (natürlich auch dessen Kombination) bewirkt wird. Diese können in 3 verschiedene Szenarien getrennt werden:
- Wahrnehmen von Klängen ohne auditorischen Stimulus
- Fehlinterpretation von existierenden Stimmen und/oder Gespräche (Cocktaileffekt)
- Reaktion zu Menschen mit negativer Haltung gegenüber einer Person mit psychischen Problemen
Die Skulptur stellt Gehirnwellenaktivitäten und auditive Erinnerungen durch generierte synthetischen Klängen dar. Rhytmus und Sound steht in Bezug mit der virtuellen Vertretung der dominanten Gehirnwelle. Dies wird durch eine Analyse der Graustufen in jedem Videoframe des Livevideos erreicht. Die auditive Erinnerungen werden durch aufgenommene Audiosamples representiert. Die Aufnahmen werden automatisch, kurz bevor die Motoren aktiviert sind, ausgelöst. Das Bewegen der Kameras verändern das resultierende Videobild der Selbstaufnahme. Dies representiert die veränderete Wahrnehmung der psychisch belasteten Person.
UPGRADE 06/18:
3 Hauptverbesserungen der Hardware habe ich mit IterNoise erreicht
- Ersatz von alten TV-Röhre mit 10 Zoll Flachbildschirm
- Verbesserung des Minicomputers von Raspberry Pi v1 zu Raspberry Pi v3
- Modifizierung und Neudruck des Minicomputergehäuses
Resultat:
- Bessere Performance beim Echtzeitvideoloop
- Stabileres Operationsystem
- Mehr Speicher und CPU Kraft für die Audiosynthese
- Kompaktes Computergehäuse welches die Kabel schützt
Rpi Case:
Das folgende Video zeigt das Resultat der verbesserten Echtzeitvideoschleife:
3D SBS Video of sculpture in action:
SOFTWARE
Während die Zuschauer die erscheinenden Mustern der von der Skulptur erzeugten Echtzeitanimation betrachte, werden Formen und Muster erscheinen, welche als Gesichter, Körper, Landschaften oder von Menschen gemachte Konstruktionen interpretiert werden können. Diese Interpretation beruhen auf der persönlichen Fähigkeit durch emotionale verbundenen Erinnerungen Sinn aus dem Gesehenen/Gehörtem zu erzeugen. Der Klang des Hauptsounds (representiert dominante Gehirnwelle) wird erzeugt, indem der Mittelwert der Zusammenfassung aller Pixelgraustufenwerte ermittelt wird.
Gehirnwellenfrequenz als Beat
Neben dem Gesamtmittelwert von Graustufen in jedem Videoframe, die Software berechnet auch die Mittelwerte von 5 seperaten Bereiche im gesamten Graustufenspektrum. Der Mittelwert repräsentiert die dominante aktive Gehirnwelle. Der erzeugte Klang spielt die berechnete Häufigkeit oder Rythmik, indem der Gesamtmittelwert der Graustufenwerte zwischen 0 und 100 mal in der Sekunde (0 - 100 Hz) ausgelöst wird. Dies hängt von der wissenschaftlichen kategorierten Gehirnwellenfrequenzbereichen ab.
Kamerabewegung wird durch Zufall oder extern via Mikrofon ausgelöst
Ein Selbstbild kann nicht nur durch innere zufällige Ereignisse verändert werden, sondern auch durch die Umgebung, in der sich eine Person befindet. Besonders in einem jüngeren Alter bis etwa zum Alter von 20, da in einem späteren Alter viele Erwachsene wesentlich weniger vom Umfeld beeinflussen lassen. Erwachsene gewöhnen sich in der Regel an die Tatsache, dass Sie angeschaut oder über sie gesprochen wird. Das Skulpturkamerasystem reagiert, wenn die Mikrofonaufnahme eine Lautstärkeschwelle erreicht. Die 2 Motoren verändern die Distanz zwischen Kamera und Fernseher oder rollt die Kamera. Die neuen Frames werden durch eine interne Videorückkopplungsschleife erzeugt.
Publikums Audioaufnahme
Der Grenzwert, welcher die Kamerabewegungen der Motoren auslöst, zeichnet auch die Geräusche auf, welche verantwortlich für die Aktivierung waren. Diese werden dann mit dem Sound der virtuellen Gehirnwellensounds gemixt.
Die wichtigste Entwicklung der Projektsoftware habe ich in openFrameworks mit C++ entwickelt. Die Unterstützung durch PlugIns ist mit dieser Programmierplatform ist großartig. Der Zugriff auf Bibliotheken, geschrieben von Künstlern und Programmierern unterstützen Projekte anderer Künstler.
ofxMaxim wurde von mir für die Audioaufnahme und Soundwiedergabe verwandt.
ofxReverb erzeugt ein Echo zum Sound und simuliert dadurch einen tiefen Raum.
ofxXml schreibt eine Datei im xml-format und speichert diese auf die Festplatte, um sie später z.B. beim Neustart automatisch zu nutzen.
Schließlich die gpioclass.h und gpioclass.ccp, welche den Zugriff auf die GPIO-pins des Raspberry Pi Minicomputer mit C++ erlauben. Dies ist notwendig die Motoren und physische Schalter mit der Software zu nutzen. GPIO Generic Pin In Out >> Generelle Stifte für Eingänge und Ausgänge.
HARDWARE
>> männlichen Oberkörper einer Schaufensterpuppe >> zerbrochene Leiterplattenteilen - rotes TV Gehäuse mit 10 Zoll Flachbildschirm >> Minicomputer Raspberry Pi >> Lautsprecher mit Verstärker >> Mikrofon >> Lautsprecherständer >> Verteilerdose mit Schalter >> Kabel >> USB Hub
Der Oberkörper ist Teil einer Schaufensterpuppe welche mit zerbrochenen Leitplattenteilen bedeckt ist. Aus Erfahrung durch die Erstellung meiner ersten Skulptur, wusste ich, welche Werkzeuge und Materialien ich verwenden musste. London Hackspace war hilfreich gewesen, ich habe von dort die Schaufensterpuppe und alte Leiterplatten bekommen. Die Teile sind verklebt Heisskleber verklebt und mit schwarzer Farbe gestrichen.
Der Kopf war ein alter Campingfernseher, welchen ich bei Ebay gekauft hatte. Der Fernseher war jedoch kaputt, sodass ich in reparieren musste. Später habe ich die Röhre mit einem 10 Zoll Flachbildschirm ausgetauscht.
Die Arme sind biegsame iPad-Halter. Die Schrauben habe mit den Armteilen der Schaufensterpuppe verschweissen lassen.
Der Lautsprecher ist aus ein Acrylrohr und einem alten PC-Lautsprecher zusammengebaut. Ein Miniverstärker habe ich zur Skalierung der Lautstärke dazwischen gelötet. Die benötigte Stromversorgung wird vom Minicomputer durch USB zu Verfügung gestellt.
Der Skulpturständer ist ursprünglich für Lautsprecher gedacht. Die dreieckige Form des Fußes symbolisch für Feuerzeichen ist ein perfektes Design für diese Skulptur, während das rote TV Gehäuse die emotionale Situation farblich unterstützt.
Die Kameramechanik hab ich in der open-source Software Blender3D gemodelt und mit einem 3D Drucker und schwarzem PLA Bioplastik ausgedruckt.
The Raspberry Pi ist ein Minicomputer mit Raspbian Betriebssystem, einem Echtzeitkernel, jack Audioserversoftware und openFrameworks Programmierplatform. Das Projekt wird direkt auf dem Minicomputer kompiliert, während der Minicomputer mit einem Laptop über das Netzwerk verknüpft ist. Nach der Entwicklung der Projektsoftware läuft der Minicomputer selbstständig.
ZUVOR:
DANACH:
Endresultat zur 2016 METASIS Ausstellung:
Projektcode: