cropped-cropped-LOGO-1.png
Audiovisuele media Digitale media Immersive spatial design
Audiovisuele media Digitale media Immersive spatial design

STUDIO

TA & CO

HISTORY x MODERN, een interactieve muurschildering EXPERIENCE.

Nederland is, net zoals de rest van de landen, een geschiedenis-rijk land. Om deze verhalen levend te houden hebben mensen verschillende manieren gevonden om deze te vertellen. Boeken, televisie series/shows, monumenten en bijvoorbeeld musea. De laatste decennia is er echter ook een nieuwe beweging op gang gekomen; muurschilderingen. Deze manieren van uitvoeren hebben allemaal één ding gemeen: Het vertellen van een verhaal. Maar hoe kunnen we na jaren maatschappelijke, stedelijke én technologische evolutie deze verhalen weer actueel maken? In het kader “Ik doe dus ik beleef” én Nederlandse geschiedenis, creëer ik een hotspot wandeling door Utrecht waarin ik historische locaties, monumenten, panden en andere narratieven wil gaan versterken met een technologische en-/of digitale laag/uitvoering. Deze manier van vertellen bied de  hotspots te voorzien van extra context. Context die een locatie kan verrijken met informatie. Of zijn en -/ of haar oude staat weer kan herstellen Samen met een gids van De Dom heb ik een aantal Utrechtse verhalen & mythes erbij gehaald waarop de hotspots voor deze wandeling gebasseerd kunnen worden: Het paleis van Paus Adrianus (Pausdam Nieuwe gracht) Apotheek ‘de liefde’ in de voorstraat. Domtoren; ‘Ladderzat’ in deze urban legend zat er een kroeg op 25 meter waar men met een touwladder heen moesten (vanaf Lebowski). Omdat er zo veel mensen dronken naar beneden vielen is de grond onder de dom ongelijk. Het verhaal van ‘De Utrechternaar’  ‘Het Pandhof’,  hierover is het verhaal dat de architect zelfmoordneigingen had door een verboden liefde. Dit is gebasseerd op de vormgeving van deze tuin. Utrechtse kerkenkruis; ‘ Domtoren>Janskerkhof>Centraal museum>Zijkant Pieterskerk > Hof mariaplaats. Bekeek je deze kerken van boven heb je een kruis, allemaal op wandelafstand. (Was een eerbetoon aan 1039 overleden vader Keizer Koenraad) Spookboom voor centraal museum. Echter heb ik gekozen voor een verticale uitwerking van dit project in plaats van een horizontale, dus ging ik mij focussen op 1 locatie waarvoor ik een ‘prove of concept’ creeër.  Hiervoor heb ik de muurschildering aan de Ganzenmarkt gekozen over Jacobus van ’t Hoff, de eerste Nobelprijswinnaar voor de scheikunde. Process Om te beginnen besloot ik direct de stoute schoenen aan te trekken en de originele makers van deze muurschildering (Utrechtse kunstgroep ‘De strakke hand’) te benaderen met de vraag of ze A) goedkeuring gaven. En B) Een outline bronbestand voor mij hadden. Dit heb ik dan ook ontvangen.  Na deze eerste week was ik al in staat om de eerste verschillende animaties te verzinnen en in de kinderschoenen te zetten op basis van de aangeleverde bestanden. Dit heb ik ook al redelijk vroegtijdig gepresenteerd aan de docenten Friso en Raoul waarna de vraag omhoog kwam hoe interactief mijn project precies ging zijn voor een vak waarin mixed reality centraal stond. Met dit gegeven ben ik op zoek gegaan naar wat narratievere/inhoudelijke diepgang op basis van het stuk van Jacobus. Ik besloot om naast het verhaal van Jacobus ook een soort gegeven aan de kijker te geven. Iets wat ze mee konden nemen en over na konden denken: Ik besloot om een sub-slogan mee te nemen in mijn project: ‘Schrijf je eigen verhaal’  Jacobus heeft immers een verleden gehad waarin hij zelf geen keuzes heeft kunnen maken; hij werd namelijk door zijn vader op een technische opleiding geplaatst. Iets waar hij zelf niet voor had gekozen. Echter wist hij wel X jaar later wél de eerste Nobelprijs te winnen in iets waar hij zelf niet voor stond; hij heeft dusdanig zijn eigen verhaal moeten schrijven en heeft hedendaags daar een eigen muurschildering voor gekregen.  In de weken hierna ben ik met dit gegeven aan het werk gegaan. Om de ‘Schrijf je eigen verhaal’ te realiseren heb ik besloten een real-time face tracker met mijn projection map mee te nemen. Door deze keuze werd het project iets ingewikkelder: Hoe combineer ik een pre-made animatie met een real time face tracker zonder dat deze elkaar in de weg zitten in de daadwerkelijke projectie? Het antwoord was een combinatie van Snap camera, een Snapchat computer webcam filter programma + een zelf gemaakt Snapchat filter via Lens Studio + OBS studio voor de virtual webcam functie + Isadora. Week drie is vervolgens 100% gefocussed geweest op het uitvinden hoe deze programma’s in elkaar zitten en hoe ik ze met elkaar kon laten communiceren. De week eindigde met een geslaagd resultaat; een zelfgemaakt gezichtsfilter die ik via een beamer op een muur kon projecteren. Door alle geslaagde kleine tests is week 4 gefocussed geweest op het maken van een daadwerkelijke animatie, en het samenvoegen van de real time face tracker. De laatste week bestond dan uiteindelijk uit het maken van een soundscape met hierin verborgen thema’s en het finalisen van de animaties. Ik kwam in deze week wel onder iets aan tijdsdruk te staan waardoor de animatie nog niet 100% af was. Maar het was zeker genoeg voor een ‘Prove of Concept’. Het resultaat mag er dan ook wezen. Een 8 minuten lange ethereal/mysterieuze experience op een schaalmodel van de muurschildering van Jacobus. Waarin de elementen van de schildering naar voren komen en onder begeleidende teksten het verhaal van Jacobus vertellen en eindigen met het interactieve gezichtselement waarin mensen hun gezicht op Jacobus kunnen plaatsen. Iets wat wordt afgesloten met de eindslogan; ‘Schrijf je eigen verhaal’…  
Animatieprocess: Door maskers te knippen uit het negatief van een zwart/wit bestand ben ik in staat 'makkelijk & snel' een animatie te maken van een foto, zie hiernaast.
Pictures by Robert Oosterbroek
Pictures by Robert Oosterbroek

CONTINUITY, doet je de tijd doen vergeten.

Geboorte, school, studeren, werken en pensioen. Dit is van generatie op generatie hetzelfde gebleven. De hedendaagse maatschappij ervaart echter door nieuwe factoren en technologieen steeds meer druk en stress. Laat jij je hierdoor beinvloeden? en hoeveel waarde hecht jij aan ‘het gegeven’ en je toekomst? Ben jij al bewust van het onbewuste?

Hoe laat je in een korte tijd mensen reflecteren op hun eigen leven? Waar ze voor staan? Waar ze mee bezig zijn? Het gevolg op deze vragen werd een gecompliceerd project waar een cluster tv’s de kijkers begeleidde in een experience waar mensen deze vragen voor henzelf konden beantwoorden. 

Want zoals wij als makers vonden: Het gaat niet altijd om de eindbestemming, maar soms ook om de reis.

Wat?
De mythe van Sisyphus eindigd met een straf. Sisyphus moet een steen een heuvel op rollen, maar elke keer dat hij er bijna is rolt de steen weer terug. Maar… hij blijft de steen rollen, ook al is er een straf. Hij heeft er voor gekozen om dit te doen, om het te blijven proberen. Weet hij zelf dat er geen eind aan komt? Wij wilden deze vragen ombouwen tot een fysieke installatie waarin we mensen hetzelfde proberen te laten ervaren. We wilden de kijker meenemen in een cyclus van oneindige herhaling waarin ze als individuen de tijd kunnen vergeten en als het ware gehypnotiseerd blijven. 

Hoe?
Binnen het vak ‘exploring screens’ wilden wij gaan experimenteren met diverse schermen. Omdat we mensen als het waren wilden hypnotiseren met oneindige herhalingen zochten we een manier waarin we iets constant konden laten afspelen. De video’s die we gingen afspelen moesten beginnen bij het eind, of andersom. We besloten om op meerdere manieren een ‘cyclus’ te laten zien. Hiervoor kozen we 3 thema’s: natuur, technologie & mens. En om de kijker te begeleiden: een ‘verteller’. Deze 4 schermen moesten een verhaal vertellen op basis van het vertel- scherm terwijl het geheel begeleid werd met gesproken tekst omtrent dit onderwerp, muziek & digitale klokken die verschillende dag-cyclussen symboliseerden. Door deze mengelmoes aan tijdlijnen te creeëren met verschillende lengtes geven wij de kijker de illusie dat ze constant iets nieuws zien.

Proces
Eerst werd de technologie achter een constructie als dit onderzocht: hoe dirigeer je 4 verschillende video’s op 4 diverse schermen? Het antwoord was een combinatie van goede voorbereiding, hardware en Isadora. Na het compleet uitdenken van de timings van de verteller & thema’s en het hiervoor uitdenken van vormgeving konden er binnen de drie weken van dit vak 4 video’s worden gemaakt die naadloos op de frame aan elkaar verbonden waren. Hierna was het een kwestie van verschillende oude tv’s aan elkaar verbinden door middel van oude Dell docking stations en HDMI > SCART koppelsstukken. Uiteindelijk bracht ik alles samen in Isadora om het naar 4 verschillende outputs te kunnen streamen. Carpe diem.

Inspiratie: Koyaanisqatsi

Een project met 4 verschillende, aparte, videolagen vereist een goede voorbereiding. Dit was één van de voorbereidende documenten waarin we verschillende thema's konden uitdenken en timen.

ICE CUBE GAME, klimaatverandering in een ander jasje.

Het serieuze en ondertussen lastige onderwerp: klimaatverandering, wilden wij bespreekbaar maken voor iedereen. Gegeven dat iedereen wel eens jong is geweest en graag aan iets deelneemt vonden wij dat dit onderwerp in een spelvorm wel goed tot zijn recht kon komen. Niet iedereen neemt het immers niet zo nauw met dit onderwerp, het is soms net een spel. 😉 Symbool voor deze opwarming zijn de smeltende ijskappen, in ons geval een smeltend ijsklontje. Wellicht heeft men het al door; maar het simplifien én gamifien van een heftig onderwerp als dit, zorgt ervoor dat we het bespreekbaar & luchtig hielden. Hiermee wilden we het publiek júist aan het denken zetten hoe zoiets ‘simpels’ eigenlijk symbool stond voor zoiets extreems. Wat Het spel werkt met diverse contextloze knoppen, men wist niet wat wat deed. We hadden 2 draaiknoppen die de temperatuur omhoog of omlaag haalde. Wat resulteerde in een bevriezende of smeltende ijsklont. Als er niet gespeeld steeg de temperatuur in het spel vanzelf. Waardoor er altijd bewust gespeeld moest worden. Om de speler een ‘direct feedback’ op hun acties te geven hadden we diverse teksten en vormgeving gemaakt waardoor er een klein informatief spel gecreeërd kon worden.  Met dramatische teksten als ‘De dijken breken door!’ speelt men lachwekkend door met serieus onderwerp. Vormgeving Het uiterlijk van het werk is gebaseerd op oude arcade machine. Door dit nostalgische gevoel op te wekken bij de kijker/speler konden we een doelgroep van jong én oud benaderen. Alle vormgeving in het spel probeerde wij te stroomlijnen zodat het goed werkte in combinatie met processing. De engine achter dit spel. proces In het vak ‘creative technology’ werden we klaargestoomd voor de startblokken van de codeer-wereld & interactiviteit. Mijn interesse lag gelukkig op het juiste niveau waardoor ik al snel een beginpunt wist te maken voor het spel. De code, die in processing en javascript, is geschreven laad een hele stapel aan diverse mappen met gifjes in die vervolgens hun eigen regels krijgen. Zo is er een variabel, de temperatuur, die door middel van een Arduino én daarbij behorende knoppen aangepast kan worden. Maar ook elke X aantal seconden hoger wordt. Naast het omvormen van green screen footage naar transparante GIF’s én die in te laden in vers-geleerde code is het gelukt een interactieve prototype te maken binnen een onderwerp dat wij graag als groep bespreekbaar wilden maken.