El Periodo De Multiguerras

Al empezar, empecé a crear:

• La Renderfarm de Flamenco con la RPI4 conectada a una VPN de Zero Tier (Actualmente uso Tailscale)
• La Organización de Github para gestionar el código y los repositorios de cada proyecto.

Después, Github se me quedó corto con la gestión de archivos grandes del proyecto de Unreal, así que migré a Gitea para guardar todo de forma local en la RPI4.

Almacenamiento:

Y en cuanto al almacenamiento, usaba Samba para compartir los archivos de Flamenco pero al final no lo usé. Y para compartir los archivos, renderizados y demás usé Syncthing cuando había que copiar los archivos y la función de compartir archivos de Windows cuando solo necesitaba acceder puntualmente. Todo estaba guardado en mi ordenador y hacía copias de seguridad recurrentes.

Raspberry Pi

Carcasa

Diseñé esta carcasa en SolidWorks y la imprimí en 3D.

Inicio remoto

Como la RPI4 se inicia nada más enchufarla a la corriente, le metí un enchufe inteligente que se podía encender y apagar desde Google Home.

Servicios

• PostgreSQL (Para gestionar los proyectos de Resolve)
• Flamenco (Renderfarm antigua)
• Gitea para gestión de repositorios
• Servidor de archivos SAMBA

PostgreSQL

Varias personas tenían que trabajar sobre el mismo proyecto de Resolve. La solución fue montar PostgreSQL con pgAdmin en la RPI4, accesible por VPN, para que Resolve gestionara los proyectos en modo colaborativo.

VPNs

Hamachi

• Usado en primeras pruebas
• No lo usé por limitación de 5 dispositivos/red.

ZeroTier

• 25 dispositivos/red (En el momento de usarlo)

Automatizaciones

He usado diversos scripts de Python para automatizar tareas repetitivas. Un ejemplo bastante importante es el script encargado de generar el CSV con los metadatos de las escenas de Unreal. Su repo es este.

Antes de la grabación, modelé los escenarios en Blender y luego los importé a Unreal Engine 5 con el plugin BlenderTools para Unreal. En la central recibí ayuda de mi compañero Aarón para modelar la escena.

Diseñados en Blender

Diseñados en Unreal

Algunos escenarios los monté mayoritariamente en Unreal usando sus herramientas como modificadores de terreno.

El proyecto empezó a partir de la idea de hacer un cortometraje de producción virtual siguiendo casi la misma idea del set de la serie Mandalorian. Pero en vez de con pantallas, con un chroma, y con menos presupuesto.

Tracking de cámara

Al pensar como hacer tracking de cámara, se me ocurrió hacerlo con un mando de realidad virtual y conectarlo a Unreal Engine 5 con Live Link. Podría haberlo hecho con una pieza personalizada que anclara el mando a nuestra jaula de cámara.

Pero el mando dependería de que las gafas VR estuvieran encendidas, y para eso se necesitaba que las gafas estuvieran en movimiento y con alguien con las gafas puestas. Vi que podría ser más sencillo usar un iPhone con Unreal VCam, que es una app que usa ARKit de iOS para hacer tracking de la cámara.

Como se puede ver en la foto, la cámara de abajo estaría dedicada a grabar a los actores y la cámara de arriba sería la cámara virtual con Unreal VCam que capturaría el movimiento de la cámara. Este es el resultado de la primera prueba de tracking de cámara.

Ese pequeño giro fue porque aún no había pensado en cómo sincronizar las cámaras.

Después se me ocurrió que podría sincronizarlo con timecode. Pero no había ninguna aplicación que grabara video con timecode en iOS. Dejé de pensar en ello y dos meses después salió Blackmagic Camera, que para mi sorpresa sí que era posible insertar timecode. Además la app permite controlar la cámara en remoto desde otro teléfono y sincronizar/configurar varias cámaras a la vez.

Calibración de cámaras

Para que la cámara virtual de Unreal tuviera el mismo campo de visión que el iPhone 12 real, hice una hoja de cálculo con el ancho y alto real del sensor de cada lente (principal, 0.5x y 2.5x). Esos valores de sensor los copiaba y pegaba directamente en los parámetros de la cámara de Unreal, así el encuadre virtual coincidía con el de la cámara que graba a los actores.

El sistema de tracking no siempre funcionó bien: hubo tomas donde se perdían keyframes de cámara en pleno rodaje. Cómo detecté el problema y lo recuperé con IA está contado como caso aparte en Atención especial.

Grabación

En cuanto a la producción virtual, tenía un ordenador portátil con Unreal Engine 5 conectado a una red Wifi el iPhone con Unreal VCam. Y en ese ordenador grababa en un Sequencer de Unreal el movimiento de la cámara virtual para posteriormente revisar si en algún punto la cámara virtual se desconectó y también añadir animaciones adicionales a la escena.

Emparejamiento de tomas reales y virtuales

Las tomas las emparejo a partir de los metadatos escena y toma. (La ID de la escena que se graba en Unreal se empareja con la escena que tiene la misma escena en el iPhone) y las sincronizo a partir del timecode, para lo cual en Unreal Engine tuve que hacer un script que generara un CSV con todos los metadatos para importarlos a DaVinci Resolve para montarlos.

File Name	Scene	Take	Start TC
Scene_G1_02.[1416805-1418152].exr	G1	02	13:07:06:25
Scene_H1_01.[1184728-1187235].exr	H1	01	10:58:10:28
Scene_H2_02.[1198679-1199668].exr	H2	02	11:05:55:29
Scene_H3_01.[1205949-1207010].exr	H3	01	11:09:58:09
Scene_H4_01.[1211621-1213227].exr	H4	01	11:13:07:11
Scene_H5_01.[1221223-1226111].exr	H5	01	11:18:27:13

Movie Render Queue

Todas estas escenas de sequencer, para renderizarlas, añadía varias a una Render Queue de Unreal con una configuración especial que renderiza los EXR con los metadatos necesarios en el nombre del frame (Escena, Toma y Timecode) para que luego el script pueda trabajar.

Render Farm de Unreal

Al principio pensé en ejecutar una renderfarm de Unreal Engine para renderizar el proyecto, pero al final no fue necesario porque conseguí un ordenador mejor y pudo renderizar todo el proyecto en 20 horas. Modifiqué un programa existente para que pudiera funcionar en Unreal Engine 5. Este es el fork.

Preparación del set

Primer set

Se compraron varias telas y se cosieron para hacer un croma. Se compró un trípode y focos y colaboró el Colegio San Agustín para ceder un aula para el rodaje.

Lo que pasó fue que no tuvimos suficiente tiempo, fue un fin de semana, y me quedé extremadamente corto.

Segundo set

Para seguir trabajando, usé un aula donde se pegaron a las cortinas el chroma y así se podría retirar durante las clases.

En este segundo set estuvimos más tiempo, y descubrí que con menos gente se trabaja mejor.

Galería primer rodaje

En el primer rodaje usé un ordenador potente y una red con un router externo para que el iPhone se conectara directamente al PC.

Al ser un sistema tan difícil de montar y desmontar decidí simplificarlo para tener un set más sencillo con el inconveniente de que la grabación de movimiento fuera más inestable.

Como Unreal Engine fue el núcleo de la producción virtual del cortometraje, tuve que desarrollar muchas cosas aparte de ello.

Portales

Como en Blender es demasiado pesado renderizar el portal, tuve que hacer una versión de él en Unreal.

Lo hice con el sistema de físicas Niagara Fluids importando la mesh que montaba el portal de Blender. Y después lo metí en un Blueprint Class junto a su iluminación para crear un Blueprint instanciable.

Extras digitales

Extras andantes

Al principio, usé los personajes y animaciones de Mixamo que colocaba manualmente en cada escena.

Pero eso no era escalable, así que investigando un poco más, vi que una demo de Unreal ya usó un sistema de crowd procedural. Y con un tutorial conseguí ejecutarlo en mi proyecto.

Lo chulo del sistema es que a parte de que el movimiento es procedural (Trazando rutas en el editor), también la vestimenta de los personajes lo es, así que ningún personaje es igual. Este sistema lo usé en las escenas del Muro de Berlín y las de la central.

Durante el proyecto me encontré con un bug real del motor: en Unreal Engine 5.3 los extras caían atravesando el suelo, y en la 5.4 (sin cambiar nada más) funcionaba correctamente. Por este motivo, parte del corto quedó renderizada en 5.3 y otra en 5.4.

Multitud estática

Para las últimas escenas del Muro de Berlín, usé el sistema anterior como base pero modificando la animación e inserté el blueprint en un PCG Graph con ayuda de otro tutorial.

Gracias a esto hice que la multitud se generara proceduralmente en un area concreta con rotación y posición variada y también con animaciones diferentes.

MetaHuman

En algunas ocasiones pensé en hacer dobles digitales de los actores, al final no hizo falta, pero sí que hice los MetaHuman mediante los datos de profundidad de LiveLink Face.

Cada MetaHuman pesaba unos 7 GB y al final casi no los usé.

Cámara virtual y tracking

(Ver también Producción Virtual)

La cámara virtual se tenía que encajar con la cámara real. Para ello tenía unos presets para la cámara de Unreal con los parámetros de cada cámara de mi iPhone.

Renderizado

Después se renderizaban las escenas de Unreal como secuencias EXR y las importaba a Resolve junto a los metadatos generados (Todo esto explicado en su sección de Producción Virtual).

Control de versiones

Para colaborar con otra gente y tener un control de versiones metí el proyecto entero en un repositorio de Git con Git LFS en la RPI4 con Gitea (Mencionado en la sección de infraestructura).

Llegué a acumular 241 commits y el proyecto ocupaba 34 GB aprox. Esto me hizo darme cuenta de que Git no era la mejor opción para proyectos de Unreal, y que opciones como Perforce se usan más en la industria por esa razón. Pero como fue un proyecto en el que no colaboré mucho con otras personas, cumplió su función como control de versiones y también como backup del proyecto al estar clonado en todos los ordenadores.

Assets y referencias

• Quixel Megascans: texturas/rocas escaneadas (cajas eléctricas, etc.)
• Ciudad de Berlín: pack descargado (el muro sí es modelado propio, ver Blender)
• Mapa de bosque y VFX de la “bola de teletransporte”: reutilizados de tech-demos oficiales de Unreal
• Crowd procedural: adaptado de una demo pública de Unreal + tutoriales
• Personajes/animaciones base: Mixamo

Hecho y renderizado en Blender:

Portal (en Blender)

El primer intento del portal fue con un sistema de “rastro de humo” que no acabó de convencer.

Luego mi compañero Aarón me enseñó a usar los modificadores “Malla a volumen”. Y junto al modificador “Desplazar volumen” el efecto quedó resuelto.

Trasladé esta versión a Unreal, que se puede ver aquí.

Simulaciones

Los assets que requerían simulación de humos (excepto el portal en su mayoría de ocasiones) los hice con Blender.

También hay escenas con simulaciones más grandes que estas, como la escena de la explosión del muro de Berlín

Render Farm (De Flamenco a SheepIt)

Al principio, para renderizar todas las simulaciones de Blender configuré un servidor de Flamenco en una RPI4.

Compilación

Tuve que compilar el servidor de Flamenco en la RPI4 (ARM) lidiando con varias dependencias del makefile. Consulté a la comunidad de Blender y me ayudaron a ello.

Por qué no lo usé

Flamenco funciona de tal manera que cada Worker (PC renderizador) tiene que tener acceso con VPN a la RPI4 y acceso a un servidor de samba.

Todo esto lo conseguí, incluso hice un script para ejecutar el worker de Flamenco, pero el problema fue que no capté suficientes personas para renderizar (3 personas). Así que al final opté por Sheepit Renderfarm, en la que hace tiempo rendericé para otra gente y ahora tengo puntos para que otros rendericen por mí y los que me quieren apoyar pueden renderizar con las Render Keys.

Internamente yo categorizaba aquellas escenas que requerían cambiar el flujo de trabajo común de otras escenas las categorizaba como “Atención especial”.

Estás son las que más relevantes han sido para mí:

Recuperación del tracking con IA (CoTracker)

La razón principal de los problemas del tracking fue que la conexión entre el iPhone y el ordenador con Unreal no era estable, lo que hacía que en medio de la toma se perdieran keyframes de la cámara.

Fue el mayor problema de todo el rodaje, y en las escenas se nota bastante.

Como lo detecté en postproducción, tuve que investigar cómo recuperar la toma, y encontré un modelo de Facebook llamado CoTracker3 que trackea puntos mediante IA.

Modifiqué la demo oficial para que admitiera mejor calidad y la ejecuté en mi ordenador, y luego, importé el video a Blender y trackee los puntos que generó el video de la demo.

Esto no fue la manera más profesional de hacerlo, podría haber sustituido el motor de tracking de Blender directamente, pero no tenía mucho tiempo para las dos tomas que lo necesitaban.

Escena corriendo

Esta escena fue construida con nodos de shading en Blender.

Referencia

En el entorno me inspiré en una escena del final de la película “Flow”. Ver aquí

Escena explosión muro

Hay una escena donde un muro explota. Y en esa escena lo que hice fue simular la explosión y humos en Blender y luego renderizar esa escena en dos:

• En Blender: rendericé humo y partículas con los otros elementos como shadow catcher
• En Unreal importé los movimientos de las piezas como un FBX animado (convertido y exportado desde Blender) y rendericé la escena sin más cambios

Primer plano cárcel

La compuse a partir de dos tomas del jefe a las que les quité el fondo y metí dentro de la jaula.

Referencia

Usé como referencia para esta escena el efecto de carcel de Spider-Man Across the Spider-Verse:

Final del jefe volando

Tuve que hacer esta escena en Blender porque incluía un escaneo de Gaussian Splatting que tenía que renderizar en EEVEE. Así que hice la escena renderizando primero una parte en cycles y luego superponiendo la parte de EEVEE para meter el Gaussian Splatting.

(Aunque hubiera sido más fácil haber importado el modelo de Gaussian splatting a Unreal y trabajar desde ahí)

PostgreSQL

Varias personas tenían que trabajar sobre el mismo proyecto de Resolve, así que monté PostgreSQL + pgAdmin en la RPI4, accesible por VPN (ver detalles en Infraestructura).

VFX

Metadatos

Usé la claqueta virtual de la cámara para determinar la escena y toma que se estaba grabando. Y también, gracias al metadato del objetivo sabía qué cámara había que configurar en Unreal.

Composición

Con los metadatos extraídos desde Unreal a CSV (proceso explicado aquí) metía las dos tomas con el mismo metadato de escena en una secuencia multicámara y luego la copiaba a una timeline donde se aplicaba la pantalla verde, corrección de color y VFX que necesitara esa escena.

Montaje:

Ya que cada escena estaba en su respectiva Timeline, solo tenía que arrastrarla en una timeline master.

Esperé a montar todo el cortometraje para editar el sonido. Casi todo el sonido lo hice con Ableton Live, donde importé una previsualización de cada grupo de escenas del cortometraje.

Banda sonora y efectos de sonido

En cuanto a la Banda Sonora Original, la hicimos con diversos VSTs como Kontakt y demás. La mayor parte de las canciones fueron compuestas e interpretadas por Encarnación Arce; yo ejercí de productor y la guié en Ableton, que ella no había utilizado antes. La canción final fue la única que compuse íntegramente yo, que está construida a base de configurar sintetizadores. Publiqué cada canción en Spotify y demás plataformas, se puede escuchar también en YouTube.

Luego, para los efectos de sonido, lo hice con el mismo programa y sintetizadores personalizados para cada efecto.

Por ejemplo, para el sonido de la bomba, lo hice grabando un bote de Actimel lleno de lentejas.