The Mandalorian was een behoorlijk goede show. Daarover lijken de meeste mensen het eens te zijn. Maar hoewel een succesvolle live-action Star Wars tv-serie op zichzelf belangrijk is, vertegenwoordigt de manier waarop deze specifieke show werd gemaakt een veel grotere verandering, misschien wel de belangrijkste sinds het groene scherm. De geavanceerde technologie (letterlijk) achter The Mandalorian creëert een nieuwe standaard en paradigma voor media – en het publiek zal er niets wijzer van worden.
Wat is deze magische nieuwe technologie? Het is een evolutie van een techniek die al bijna een eeuw in een of andere vorm wordt gebruikt: het weergeven van een live beeld achter de acteurs. De vooruitgang zit niet in het idee, maar in de uitvoering: een samenloop van technologieën die de virtuele productie opnieuw definieert en een nieuwe generatie makers zal versterken.
Zoals beschreven in een uitgebreid verslag in American Cinematographer Magazine (Ik volg dit verhaal al een tijdje, maar vermoedde dat deze eerbiedwaardige vakpublicatie mij de das om zou doen), het productieproces van The Mandalorian is volkomen anders dan ooit tevoren, en het is moeilijk voor te stellen dat een grote filmproductie niet gebruik zou maken van de technologie gaat vooruit.
Dus wat is het in vredesnaam? Ik hoor je vragen.
google tweeling
Maak kennis met het volume.
Formeel heet het Stagecraft, het is 6 meter hoog, 270 graden rond en 22 meter breed – de grootste en meest geavanceerde virtuele filmomgeving die ooit is gemaakt. ILM heeft vandaag publiekelijk een filmpje achter de schermen van het gebruikte systeem, evenals een aantal nieuwe details erover.
Het is niet gemakkelijk om groen te zijn
In termen van filmmaken verwijst een volume over het algemeen naar een ruimte waar motion capture en compositie plaatsvinden. Sommige volumes zijn groot en in sets ingebouwd, zoals je misschien hebt gezien in beelden achter de schermen van Marvel- of Star Wars-films. Sommige zijn kleinere, duidelijkere zaken, waarbij de bewegingen van de acteurs achter CG-personages hun rol spelen.
Maar ze hebben over het algemeen één ding gemeen: dat zijn ze statisch . Gigantische, heldergroene, lege vlaktes.
Lijkt mij dat leuk om in te schieten?
Een van de moeilijkste dingen voor een acteur in het moderne filmmaken is karakter krijgen terwijl hij wordt omringd door groene muren, schuimblokken die obstakels aangeven die later moeten worden geschilderd en mensen met mocapstippen op hun gezicht en pakken met pingpongballen eraan. Om nog maar te zwijgen van het feit dat alles groene reflecties heeft die moeten worden verlicht of gekleurd.
Dankzij vooruitgang enige tijd geleden (denk aan Star Wars uit het prequels-tijdperk) konden camera's een ruwe pre-visualisatie weergeven van hoe de uiteindelijke film eruit zou zien, waarbij CG-achtergronden en personages onmiddellijk op monitoren werden vervangen. Natuurlijk helpt dat bij de compositie en camerabewegingen, maar de wereld van de film bestaat niet zoals die is met praktische sets en opnames ter plaatse.
Ook voor The Child (AKA Baby Yoda) waren praktische effecten een bewuste keuze.
Bovendien zijn de bewegingen van de camera, vanwege de beperkingen bij het weergeven van CG-inhoud, vaak beperkt tot een dolly-track of een paar vooraf geselecteerde opnames waarvoor de inhoud (en de belichting, zoals we zullen zien) zijn voorbereid.
Dit specifieke deel, door ILM, het bedrijf dat het heeft samengesteld, Stagecraft genoemd, is dat wel niet statisch. De achtergrond is een stel enorme LED-schermen zoals je die misschien wel eens op het podium van conferenties en concerten hebt gezien. Het Stagecraft-volume is groter dan welk volume dan ook, maar belangrijker nog: dat is het ook slimmer .
Kijk, het is niet genoeg om alleen maar een beeld achter de acteurs te laten zien. Dat doen filmmakers al sinds het stille tijdperk met geprojecteerde achtergronden! En dat is prima als je gewoon een nepbeeld uit een studioraam wilt hebben of een locatie achter een statische opname wilt nabootsen. Het probleem doet zich voor als je iets speciaals wilt doen, zoals de camera bewegen. Want als de camera beweegt, wordt meteen duidelijk dat de achtergrond een vlak beeld is.
De innovatie bij Stagecraft en andere, kleinere LED-walls (de meer algemene term voor deze achtergronden) is niet alleen dat het getoonde beeld live in fotorealistisch 3D wordt gegenereerd door krachtige GPU’s, maar dat 3D-scène direct wordt beïnvloed door de bewegingen en instellingen van de camera. Als de camera naar rechts beweegt, verandert het beeld alsof het een echte scène is.
Dit is opmerkelijk moeilijk te verwezenlijken. Om het te laten werken, moet de camera zijn realtime positie en oriëntatie naar, in wezen, een beest van een gaming-pc sturen, omdat deze en andere soortgelijke opstellingen doorgaans op de Unreal-engine draaien ( Epic doet hier zijn eigen analyse van het proces ). Dit moet die beweging opnemen en deze precies in de 3D-omgeving weergeven, met bijbehorende veranderingen in perspectief, belichting, vervorming, scherptediepte enzovoort - allemaal snel genoeg zodat die veranderingen vrijwel onmiddellijk op de gigantische muur kunnen worden weergegeven. Als de beweging van de achtergrond meer dan een handvol frames achterop zou raken bij de camera, zou dit immers zelfs voor de meest naïeve kijker merkbaar zijn.
Toch volledig half van de scènes in The Mandalorian zijn opgenomen met Stagecraft, en ik vermoed dat niemand daar enig idee van had. Interieur, exterieur, buitenaardse werelden of cockpits van ruimteschepen, ze gebruikten allemaal dit gigantische volume voor een of ander doel.
Een opname als deze zou uiteraard een beetje moeten worden gemasseerd in de post.
Er zijn talloze technologische ontwikkelingen die hieraan hebben bijgedragen; De Mandalorian had niet zo gemaakt kunnen worden als vijf jaar geleden. De muren waren nog niet klaar; de renderingtechnologie was nog niet klaar; de tracking was nog niet klaar - er was niets klaar. Maar het is nu klaar.
Het moet gezegd worden dat Jon Favreau al jaren een drijvende kracht is achter deze manier van filmmaken; films zoals de remake van The Lion King waren in sommige opzichten technische try-outs voor The Mandalorian. Gecombineerd met de vooruitgang die James Cameron heeft geboekt op het gebied van virtueel filmen, en natuurlijk het onvermoeibare werk van Andy Serkis op het gebied van motion capture, wordt dit soort productie nu pas realistisch door een samenloop van omstandigheden.
Niet alleen voor SFX
Natuurlijk is Stagecraft waarschijnlijk ook de duurste en meest complexe productieomgeving die ooit is gebruikt. Maar wat het aan technologische overhead toevoegt (en dat zijn er veel), betaalt het ruimschoots terug in allerlei voordelen.
Om te beginnen worden opnamen op locatie vrijwel geëlimineerd, wat fenomenaal duur en tijdrovend is. In plaats van naar Tunesië te gaan om die wijd open woestijnopnamen te maken, kun je een zanddecor bouwen en een fotorealistische woestijn achter de acteurs plaatsen. Je kunt deze ideeën zelfs combineren voor het beste van twee werelden: stuur een team op verkenningslocaties in Tunesië en leg ze vast in high-definition 3D en gebruik ze als virtuele achtergrond .
Deze laatste optie levert een verbazingwekkend secundair voordeel op: opnieuw fotograferen is veel eenvoudiger. Als je in een bar in Santa Monica hebt gefilmd en veranderingen in de dialoog betekenen dat je de scène opnieuw moet filmen, dan hoef je geen vergunningen te regelen en de bar nauwgezet opnieuw aan te steken. In plaats daarvan leg je de eerste keer dat je daar bent zorgvuldig de hele scène vast met de exacte belichting en rekwisieten die je daar de eerste keer had en gebruik je die als virtuele achtergrond voor de nieuwe opnames.
Het feit dat veel effecten en achtergronden van tevoren kunnen worden weergegeven en in de camera kunnen worden opgenomen in plaats van later te worden samengesteld, bespaart veel tijd en geld. Het stroomlijnt ook het creatieve proces, waarbij beslissingen ter plekke door de filmmakers en acteurs kunnen worden genomen, aangezien het volume reactief is op hun behoeften, en niet andersom.
Verlichting is iets anders dat, in sommige opzichten tenminste, enorm wordt vereenvoudigd door zoiets als Stagecraft. De heldere LED-muur kan heel veel verlichting bieden, en omdat deze de scène daadwerkelijk vertegenwoordigt, is die verlichting nauwkeurig afgestemd op de behoeften van die scène. Een rood verlicht interieur van een ruimtestation, en de gebruikelijke vallende vonken enzovoort, tonen rood op de gezichten en natuurlijk de sterk reflecterende helm van de Mandalorian zelf. Toch kan het team het ook aanpassen, door bijvoorbeeld een helderwitte lijn hoog op de LED-muur te plakken, buiten het zicht van de camera, maar wel een mooi hoogtepunt op de helm creëert.
Natuurlijk zijn er enkele afwegingen. Met een hoogte van zes meter is het volume groot, maar niet zo groot dat brede opnamen de bovenkant ervan niet vastleggen, waarboven je camera's en een ander type LED zou zien (het plafond is ook een scherm, maar niet zo krachtig ). Dit vereist wat rotoscoping en postproductie, of beperkt de hoeken en lenzen waarmee je kunt fotograferen – maar dat geldt voor elk geluidsbeeld of volume.
Een opname als deze zou uiteraard een beetje moeten worden gemasseerd in de post.
De grootte van de LED’s, dat wil zeggen van de pixels zelf, beperkt ook hoe dicht de camera erbij kan komen, en je kunt natuurlijk niet inzoomen op een object voor nadere inspectie. Als je niet oppast, zul je eindigen metMoirépatronen, die strepen die je vaak ziet op afbeeldingen van schermen.
Stagecraft is niet de eerste toepassing van LED-wanden – ze worden al jaren op kleinere schaal gebruikt – maar het is zeker veruit de meest spraakmakende, en The Mandalorian is de eerste echte demonstratie van wat mogelijk is met deze technologie. En geloof me: het is niet eenmalig.
Er is mij verteld dat bijna elk productiehuis LED-muren van verschillende groottes en typen bouwt of ermee experimenteert; de voordelen liggen zo voor de hand. TV-producties kunnen geld besparen, maar zien er net zo goed uit. Films kunnen volgens flexibelere schema's worden opgenomen. Acteurs die een hekel hebben aan het werken voor groene schermen, vinden dit misschien prettiger. En je kunt maar beter geloven dat reclamespots een manier zullen vinden om deze ook te gebruiken.
Kortom, over een paar jaar zal het ongebruikelijk zijn om een productie te vinden die dat doet niet een of andere vorm van een LED-wall gebruiken. Dit is de nieuwe standaard.
Dit is slechts een algemeen overzicht van de technologie waar ILM, Disney en hun vele partners en leveranciers aan werken. In een vervolgartikel zal ik meer gedetailleerde technische informatie delen, rechtstreeks van het productieteam en de technologen die Stagecraft en de bijbehorende systemen hebben gemaakt.
eed holdings inc yahoo