El robot es capaz de pintar usando modelos de inteligencia artificial para generar obras basadas en descripciones de texto e imágenes.
FRIDA, corto para Framework and Robotics Initiative for Developing Arts, es un proyecto de investigación del Instituto de Robótica de la Universidad Carnegie Mellon. De acuerdo con Whatsnew, el robot tiene como objetivo mezclar la creatividad humana y robótica utilizando modelos de IA para crear pinturas basadas en descripciones de texto e imágenes, con alguna entrada humana requerida.
La innovadora tecnología comparte en su cuenta de Twitter algunos de los resultados, donde se puede analizar la colaboración entre humanos y máquinas y así ver las imprecisiones y los errores.
La mayoría de trabajos existentes constan de pintura como impresión analógica, es decir, una imagen de entrada es lo mismo que su objetivo final al reproducir la pintura. Sin embargo, este no es el caso de FRIDA, que utiliza dos axiomas en su proceso artístico.
Con el fin de lograr objetivos semánticos de alto nivel, se diseñan funciones de pérdida para comparar los objetivos semánticos (o entradas del usuario) y el lienzo actual. En lugar de calcular la pérdida utilizando los valores de píxel, utilizan los valores de características de las redes neuronales profundas pre-entrenadas.
Por su parte, crean un entorno de pintura diferenciable y simulado que permite a su planificador optimizar las acciones de pincel directamente hacia los objetivos semánticos.