Motion-Camera-tracking-system-Blender
Preparación
Sugerencias para el camarógrafo
- está bien que pase la toma entera pero sería ideal tener la parte de la toma que se va a usar, para no trackear una toma de 20s y que al final se use solo 5s (sí es recomendable trackear 1 segundo de extra al principio y al final, pero solo eso)
- sin embargo sí vale la pena hacer el tracking a máximo framerate posible (si te lo dan en 60fsps, aunque el video final esté a 24fps haz el tracking a 60 igual) esto le da más precisión al tracking
Pedir/tener a la mano esta info de la toma:
- Sensor size (esto sí! al menos que te diga con qué cámara grabó)
- Focal length (esto sí!)
- F-stop (apertura) (si se puede)
- Focus point? (no creo que se sepa)
- Framerate (se ve en el video)
- video resolution (se ven en el video)
Pasar a Secuencia de imágenes (para evitar Interframe compression/Long GOP compression) con Blender, no olvidar cambiar Color management a Standar
Setup
workspace agregar el workspace VFX/Motion tracking

- En el panel de tracking/clip agregar la secuencia de imágenes (seleccionar todas las imágenes) Open clip
- En output properties (tab impresora) poner el framerate original del video
- en el T panel (izquierda): Track/Clip darle a los botones Set Scene frames y Prefetch, para ajustar timeline a la duración del video y precargar el video
- en Render settings, cambiar el Color managment de Agx a Standart
Dónde poner los datos de la cámara
- En el N panel (derecha) de Track, en Camera poner los datos de la toma como tamaño del sensor (usar los presets) este tratar de ponerlo si o si
- Distancia focal
- optical center (no es tan necesario, dejlao en 0.0)
- Lens distortion (puedes ajustarlo si quieres, sino puedes marcar Refine)

En el N Tab Footage tienes algunas opciones para ver Metadata, y para trabajar con Proxy del video, si es demasiado pesado YT video
Tracking
Primero configurar en el panel de la izquierda cosas como Motion model, Match, ✅Normalize, Correlation antes de comenzar a poner trackers porque luego no se puede cambiar todos los trackers a la vez!
necesita mínimo 8 trackers para funcionar
- Izquierda: controlan los settings de cada nuevo tracker que crees
- Derecha: controla los settings del tracker seleccionado
Tracking settings

- Tienen presets para ocasiones como Blurry footage, Default, Fast motion, Planar que cambian los tamaños y otros ajustes
- Pattern size: tamaño del cuadro chico
- Search size: tamaño del búsqueda
- Match
- keyframe: setea una muestra fija (llamada keyframe) y siempre busca la misma en todos los frames, si el frame está demasiado irreconocible lo deja de seguir, es bueno si quieres que se quede exactamente en ese punto (o si no hay mejor referencia que la textura de la imagen en sí), porque trata de ser lo más preciso posible siempre basándose en el mismo keyframe del principio
- previous frame: en vez de comparar siempre con la misma referencia, siempre toma de referencia el keyframe anterior, esto puede que sea menos preciso pero también más flexible, es útil por ejemplo cuando la referencia se deforma mucho a lo largo del video por un cambio de perspectiva por ejemplo
- Prepass: básicamente hace un doble check, déjalo siempre activado
- Normalize: si está activado trata de no tomar en cuenta los cambios de iluminación (por ejemplo algo o alguien pasó e hizo sombra) para que estos cambios no afecten al tracking
- RGB, son los canales que toma en cuenta para el tracking, si desactivas lo hará más rápido pero con menos información de color, depende de ti. Podrías desactivar el verde que es más brillante y así generar más contraste para que sea más fácil trackear
- Motion model
- Location: si el patrón solo se desplaza
- Location+rotation: si el patrón rota y de desplaza
- Location+scale: si se acerca/aleja de la cámara
- Location+rotation+scale: si se acerca/aleja y la cámara tambalea (camara en mano)
- Perspective: si cambia de perspectiva (skew)
- Affine: si se deforma (por ejemplo se estira, como si hiciera squash and strech, por ejemplo un logo en una prenda de ropa estirándose) suele ser la formas más usada para trackear pero también la más lenta
Tracking settings extra
- Weight: influencia que tiene ese tracker en el Solve
- Correlation: accuracy que tiene para identificar el patrón, si es 1, será lo más exigente, si es menos, será más permisivo (menos exacto), por defecto viene en 0.75, pero si estás trackeando un patrón que se repite mucho, subirlo para que sea más exigente, como en este caso

- Margin: setea un margen en los bordes del video, si el tracker llega a pasar ese margen, ya no trackea, sirve para evitar fallas de tracking debido a distorsión de lente (fisheye)

- ✅Use mask: activar para usar la máscara Grease pencil para motion tracking
Como usar el grease pencil
Solve
- Tripod: solo si la cámara no se mueve, solamente panea, hace tilt o roll
- Keyframe: si marcas ✅Keyframe, Blender lo decidirá por ti, aunque tarde un poco, sino puedes poner tú los keyframes A y B sería decirle en que internvalo de frames hace el movimiento más representativo (de punto A a punto B) si tú pones los keyframes no de olvides demarcar la casilla
- Focal Length, si no sabes el focal length márcalo, si los sabes pon ese dato en el panel Track/Camera de la derecha (N tab)
- Optical Center, de preferencia dejalo marcado siempre, pero si sabes este dato también lo puedes poner en el N tab
- Radial Distortion, lo mismo que le optical center
- Darle a Solve Camera motion
Para footage fullhd, que esté debajo de 0.5 si es 4k que esté por debajo de 1
Setear 3D
En el la pestaña Solve (izquierda)
modulo
Scene Setup
- Set as background: poner imagen en la cámara
- Setup Tracking scene: hace todo el setup del 3D automáticamente
Orientation - Floor/Wall: selecciona 3 trackers y darle a Floor/wall para setearlos como el piso o una pared en la escena
- Set origin: Selecciona un tracker y con este botón designalo como centro del munto (no mueve objetos, solamente la cámara)
- Set Scale: si sabes la distancia entre 2 trackers, puedes seleccionarlos, donde dice "Distance" escribe tu estimación y dale Set scale, esto escalará la cámara y trackers para que coincida con las medidas que le has dado cuidado que si pones un número muy grande los objetos parece que desaparecen, luego prueba con un número más pequeño
Integración
Fotorrealismo-Stache
Render settings/Film: ✅Transaparent
Seleccionar Ground, en tab Object Properties/Visibility ✅Holdout
Iluminación: escoger un buen HDRI
El plano "Ground" hacerlo shadow catcher y su material hacerlo del color de piso o superficie
Marcar un objeto como "Holdout" en Object properties si quieres que "haga un hueco"
editar los colores de los materiales o los colores en composición
Render
Film ✅Transparent
Cycles!
120-60 samples
✅Use gpu (para del Denoise del render)
Tile size 500
ViewLayers
Por defecto el Setup tracking scene, usa dos view layers: Foreground y background, si quieres solamente usar una, puedes ir al View Layer Background...

En en el Tab de View layers (la que está debajo de la Cámara e Impresora)
Desactivar el "Use for Rendering" así solamente se renderizará el Foreground
Compositor
El Setup Tracking scene, además crea unos nodos en el compositor, pensados para usar lo de los 2 view layers, pero como yo solo uso el Foreground los cambio así:

Solo uso 1 Alpha over y hago algo de correcciones en el Render Layers, además pongo el scale después del alpha over
Para hacer previews
renderizar con menor resolución, en el Tab Output
y en el compositor, cambiar el nodo Scale, que vaya justo después del Movie Clip

Renderizar en granja de Render
- usar el Batch render creator
- configurar así en output: Tuto de Pablo Vásquez para renderizar en linea de comandos

el output poner en una carpeta compartida, puede ser de drive o de un servidor
ejecutar en pc y laptop