Tadeo Jones en realidad aumentada: rig, mocap y retargeting

Me encargaron llevar a Tadeo Jones a un informativo en formato de realidad aumentada, con un plazo de dos semanas y ningún punto de partida: ni rig, ni captura, ni nada montado. Esto es cómo se construyó la pieza, del hueso al resultado final en pantalla.

El rig, desde cero

No existía ningún rig de Tadeo Jones para Unreal, así que lo construí yo entero: cuerpo y cara, sobre el esqueleto mannequin de Unreal Engine 5.7, con Control Rig. Partir del mannequin me dejaba aprovechar de serie todo el sistema de animación y retargeting del motor, en vez de tener que montarlo también desde cero.

El rig facial también lo hice completo desde cero, no solo las blendshapes: todo el sistema de controles faciales, partiendo de nada, calibrado para las expresiones concretas que pedía esta pieza.

Retargeting y limpieza del mocap

La captura de movimiento llegó sobre el esqueleto de Mocaptury, así que primero hice el retarget al rig de Tadeo Jones. A partir de ahí tocó corregir bastante: ajustar el timing de varias acciones, mejorar poses, modificar alguna acción entera, exagerar unos movimientos y reducir otros, añadir detalles que la captura no traía.

Todo ese trabajo lo hice con un control rig por layers, con additive layers encima de la animación base. Así puedo cambiar posturas, peso o timing sin tener que volver a animar nada desde cero cada vez que algo no funciona.

De Unreal Engine al directo de AR

Con la animación ya lista, exporté el resultado a Unreal Engine 5.3 para integrarlo en el formato de realidad aumentada del informativo, con el mismo cuidado de tracking de cámara y encaje en plató que pide cualquier pieza de AR en broadcast.

La pieza se emitió en Informativos Telecinco, con Carlos Franganillo entrevistando a Tadeo Jones. Mediaset España compartió el resultado en su LinkedIn.

Dos semanas, de cero a una pieza real

Nada de esto partía de una base a medio hacer. Empezó de cero: un personaje que hasta ese momento no existía en Unreal Engine, con dos semanas para que existiera y funcionara en directo.

Eso es lo que más me interesa de este tipo de encargos: montar un rig completo, resolver el retargeting de una captura ajena y dejarlo todo listo para emisión, en un plazo que en otro contexto solo daría para las pruebas.