"Tom y Jerry" reviven con un nuevo concepto de IA para crear videos

Un equipo de investigadores logró crear nuevos episodios de Tom y Jerry usando una innovadora técnica llamada Test-Time Training, y los personajes animados volvieron a la vida con historias largas generadas sin cortes ni ediciones, marcando un hito en la evolución del contenido audiovisual creado por inteligencia artificial.

Cuando se trata de generar video, los modelos de IA enfrentan muchas limitaciones para crear secuencias largas y coherentes. A medida que la longitud del video aumenta, especialmente un minuto completo, el número de cuadros que deben analizarse y generar crece de forma considerable.

Así, los modelos tradicionales pierden coherencia: los personajes cambian de aspecto, las acciones se desincronizan, o la narrativa se rompe, porque el modelo no puede mantener en memoria todos los detalles necesarios para conservar continuidad.

Un proyecto busca resolver este desafío mediante un enfoque innovador: usar algo llamado capas de entrenamiento en tiempo de prueba, o Test-Time Training (TTT). Estas capas funcionan como una especie de memoria dinámica que puede ser ajustada para mantener la coherencia del video en tiempo real, sin necesidad de reentrenar todo el modelo.

¿Y qué usaron los investigadores para probar su nuevo concepto? Ni más ni menos que una colección de dibujos animados de "Tom y Jerry" para entrenar y evaluar el modelo. 

Estas son las primeras aventuras de Tom y Jerry generadas por IA, y los primeros nuevos episodios de estos personajes que se crean en mucho tiempo. Todos tienen un minuto, se generaron usando apenas un solo prompt y fueron producidos directamente por el modelo en una sola toma, sin edición ni producción posterior de escenas. 

La técnica de Test-Time Training demostró cómo mejora muchísimo la coherencia temporal y la suavidad del movimiento en los videos generados. 

Hay que tener en cuenta que el estudio se centró en videos de un minuto debido a las restricciones de recursos con los que contaban los investigadores, pero ellos sugieren que el enfoque podría extenderse a videos más largos y narrativas más complejas en el futuro. 

¿Te imaginas las posibilidades de esto? ¿Acaso un futuro en el cual sería posible pedirle a una IA que te genere nuevos episodios personalizados de tus programas o series favoritas? Quizás tener un “Breaking Bad” con final feliz, o “Los Simpson” de carne y hueso o una versión animé de “Friends”. O, por qué no, un sinfín de nuevas aventuras de Tom y Jerry.

Le puede interesar: Veo 2 convierte texto en video con planos, ritmo y dirección definidos