No es la primera vez que hablamos sobre el proceso de “convertir live-action a animación”, y no, no hablamos sobre la captura de movimiento, sino de que se grabe una secuencia en la vida real y luego una inteligencia artificial (IA) se encargue de transformarlo todo hacia una animación estilo anime. Pero, ¿cómo rayos una IA generadora de imágenes puede convertir un video completo?
La respuesta es bastante simple, y es que, en teoría, no lo hace. El proceso real consiste en que la IA transforma cada uno de los fotogramas del video original hacia un estilo anime, para al final tener una galería de imágenes que, al reproducirse en secuencia una tras de otra, vuelven a formar el video original pero con un nuevo estilo. Ya previamente discutíamos que este proceso tiene ciertos problemas, debido a que la IA no sabe que tiene que mantener “el mismo personaje en todas la iteraciones”.
El problema principal es que la IA genera el “personaje de anime” basado en la posición que tiene la persona en cierto fotograma, por lo que no siempre llega al mismo modelo. Cuando esto se reproduce en secuencia, puede notarse que el personaje cambia en ciertos momentos, lo que genera un efecto visualmente atractivo, pero técnicamente incorrecto.
Sin embargo, parece que esto está siendo lentamente corregido, tal como mostró el usuario de Reddit “u/neilwong2012“, quien compartió la transición de un video live-action hacia un estilo de anime, apoyándose de las herramientas Stable Diffusion y MultiControlNet.
<video src="https://video.twimg.com/ext_tw_video/1645706749268074499/pu/vid/608x1080/hSOMLh_lxntYkgtt.mp4" width="100%" height="540" controls=""></video>
El resultado es impresionante y bastante estable respecto al estilo, lo que atrajo bastantes comentarios:
- «Esta es la menor cantidad de parpadeo que he visto en cualquier resultado de Stable Diffusion. Y la animación es tan consistente, no hay desvanecimiento constante de ciertas partes y la distorsión que sucede es muy imperceptible (en comparación con otros videos)».
- «Has llevado la rotoscopia a un nivel completamente nuevo, y es realmente impresionante de ver».
- «Maldita sea. Solo unos pasos más para tener esta técnica perfeccionada. ¡Qué momento para estar vivo!».
- «Lo que no entiendo de estos vídeos de MultiControlNet es por qué hay que procesar también el fondo fotograma a fotograma. Si nos fijamos en el anime real, la mayoría de las veces se trata de un fondo pintado bastante estático. Casi me parece más creíble que el personaje esté situado sobre un fondo estático que pueda girarse ligeramente para tener en cuenta los movimientos de la cámara si es necesario. Más aún porque parece que el vídeo original ya se ha extraído del fondo (¿o de la pantalla verde para empezar?), ¡así que ya estaría a medio camino!».
- «Denle unos cinco años más y así es como se producirá el anime y las caricaturas en el futuro».
- «El potencial es inmenso también para los videojuegos».
- «¿Se trata de un proceso totalmente automatizado con el software adecuado o sigue siendo un proceso manual?».
- «Cuando esta tecnología sea totalmente en tiempo real, no volveremos a ver nunca más a una persona poco atractiva en las redes sociales, ¿verdad?».
- «Ahora te reto a hacerlo, pero con una persona gorda. Verás que las IA no conocen ese tipo de cuerpos».
- «¿Qué opinas, se convertirá esto en el estándar de calidad del anime para la animación en movimiento en los próximos años?».
- «Lo que muestra este vídeo es que se puede crear anime asombroso muy rápidamente desde el punto de vista de la producción y ahorrar mucho dinero. No importa si hay parpadeo o el fondo no es genial. Es el hecho de que ahora se puede tomar esto a su software de animación y limpiarlo. Ya se han resuelto los problemas de perspectiva y las secuencias de animación complejas. Sólo tienes que dibujar encima y ya está. La clave de la animación es lo que realmente resuelve».
- «En unos meses se puede crear cualquier anime. Piensa en secuelas de animes que nunca se hicieron, como Highschool of the Dead Season 2 u otros».
- «Esto está muy bien. Me encanta que no hay parpadeo, o al menos no distrae como solía ser hace apenas unos meses».
- «Me parece alucinante que esto ya sea posible. Esta tecnología es tan nueva y ya increíble y sólo va a mejorar a partir de ahora. ¿Cómo será en 10 años. En 50 años. 100? Una puta locura».
Fuente: Reddit
La entrada Creen que las IA podrían ‘reemplazar’ a los animadores se publicó primero en Kudasai.