Het onderzoek
Met ondersteuning van het Stimuleringsfonds Creatieve Industrie deed ik onderzoek naar werken met real-time tracking technieken ter verdieping van werken met real-time gerenderde beelden in de podiumkunsten. Het onderzoek was specifiek gericht op technieken die de impact op spel, techniek en de begroting verkleinen, om zo de haalbaarheid en toepasbaarheid te vergroten.
Waarom tracking?
Om een virtuele en werkelijke wereld echt te kunnen laten versmelten moet je deze twee over elkaar heen kunnen leggen en ze vice versa kunnen beïnvloeden. Een van de belangrijkste aspecten om dit te realiseren is het kunnen volgen van beweging en positie in de werkelijkheid, zodat dit kan worden gekoppeld aan beweging en positie in de virtuele wereld. Dit volgen van beweging noem je ook wel motion capture of motion tracking. In het kort; tracking.
Voor dit onderzoek wilde ik twee specifieke technieken onderzoeken; tracking op basis van op A.I. gebaseerde videoanalyse en tracking door gebruik te maken van IMU’s (Inertial Measurement Unit’s).
Met op A.I. gebaseerde videoanalyse bedoel ik op Artificial Intelligence leunende technieken die door enkel een video signaal te analyseren, bewegingen kunnen volgen en voorspellen, houdingen kunnen zien en beelden kunnen herkennen. Het voordeel is dat er geen enkele sensor, of met sensoren uitgerust pak of handschoen of andere metende techniek (en daarmee samen horende technische noodzakelijkheden), mee gemoeid is behalve een camera.
Het Inertial Measurement Unit is een combinatie een gyroscope, een magneto- en een accelerometer. Hiermee kan het magnetisch veld, rotatie en versnelling worden gemeten vanaf één punt. Dit betekent dat je vanaf dat punt kan bepalen wat de rotatie van een voorwerp is ten opzichte van het aardoppervlak en het magnetische noorden én hoe hard deze in een bepaalde richting beweegt. Ik wilde hierin naast het onderzoeken van de toepasbaarheid van deze sensoren in een live setting ook uitzoeken of er uit deze tracking data ook accuraat positie en verplaatsing zou kunnen worden berekend.
De onderzoeksvraag die ik probeer te beantwoorden:
(Hoe) Zijn A.I. based video analysis en het gebruik van IMU’s, binnen een real-time context, in te zetten als trackingmethoden, in een live podiumkunstenproductie?
(Hoe) Zijn A.I. based video analysis en het gebruik van IMU’s, binnen een real-time context, in te zetten als trackingmethoden, in een live podiumkunstenproductie?
