Case study Presence: fotorealistische avatar

Hoe ontwikkel je een fotorealistische avatar?

Voor het onderzoeksproject "Presence" onderzoekt Thomas More hoe digitale representaties van objecten, personen en verhalen gemaakt kunnen worden en hoe deze in een virtuele omgeving kunnen worden gebracht. Hiervoor zullen we verschillende (XR)-technologieën worden getest, zoals motion capture, face capture, tekst-naar-alles, 2D- en 3D-avatars, virtuele productie, fotogrammetrie, 3D-rigging en LiDAR-scanning. In het exTend-project maakten we uitgebreid kennis met fotogrammetrie als een van de mogelijke technologieën om een fotorealistische avatar te creëren.  

Het proces 

Onze fotogrammetrie-setup bestaat uit 8 identieke stations. Elk station bestaat uit 12 Canon-camera’s die verbonden zijn met een “brein”. Via dit brein kunnen we de camera’s gelijktijdig activeren en worden de foto’s direct via IP naar de centrale computer geüpload.

1. De scan

De persoon of het object wordt centraal in de fotogrammetrie-setup geplaatst. Vervolgens worden de 8 stations gelijktijdig geactiveerd met behulp van één trigger-knop. Hierdoor krijgen we 96 foto’s op hetzelfde moment.

2. Dataverwerking

  • Reality Capture: Zodra alle foto’s zijn geĂĽpload naar de centrale computer, kunnen we deze data inladen in het programma Reality Capture.
  • Mesh voor MetaHuman: Om het 3D-model klaar te maken voor animatie, zullen we het hoofd importeren in Unreal Engine.

Hoe het Presence- team een fotorealistische avatar maakte, van a tot z. 

3. Fotorealistische texture map

Zodra we over een bruikbaar 3D-model beschikken, moeten we de avatar nog voorzien van een texture. Hiervoor gebruiken we de Facebuilder-plugin in Blender. Hierbij wordt op basis van verschillende foto’s van de echte persoon een virtuele afdruk van het hoofd gemaakt vanuit verschillende standpunten.

4. Texture map importeren In Unreal Engine

Zodra het .png-bestand klaar is importeren we deze in Unreal Engine en kunnen we ze gebruiken als texture voor de avatar. Als er onvolkomenheden zijn, kun je deze nog verder bewerken in Photoshop.

5. Live Link Face app

Deze laatste stap zorgt ervoor dat je de fotorealistische avatar in realtime kan animeren. Dit doen we door de avatar te koppelen aan de Live Link Face app op een iPhone. Zodra de link actief is kan je de avatar in realtime animeren met de iPhone.

Lees het volledige artikel van deze case study via Medium.com.