El científico jefe de OpenAI advierte que "la humanidad no está preparada" para una IA que ya empieza a desarrollarse a sí misma

Jakub Pachocki sostiene que los modelos de vanguardia ya no pueden entenderse simplemente como herramientas diseñadas por humanos. Su evolución mediante cantidades crecientes de cómputo está produciendo sistemas cuyo funcionamiento resulta cada vez más difícil de interpretar, mientras la propia IA comienza a participar en el entrenamiento de sus sucesores.

Hay una idea incómoda detrás de la nueva advertencia de Jakub Pachocki, científico jefe de OpenAI: quizá el problema más importante de la inteligencia artificial ya no sea cuánto podemos hacer con ella, sino cuánto entendemos realmente de aquello que estamos construyendo.

En su ensayo “An Alien Mind” ("Una mente alienígena"), publicado por OpenAI el 6 de septiembre, Pachocki describe los modelos de frontera como sistemas que son más descubiertos que diseñados. No son máquinas construidas pieza por pieza de una manera que permita a sus creadores comprender cada mecanismo interno.

Son el resultado de repetir procesos de optimización a una escala de cómputo difícil de imaginar. La diferencia no es semántica. Durante años, la industria habló de los modelos de IA como herramientas sofisticadas que, pese a su complejidad, podían ser sometidas progresivamente a pruebas, supervisión y controles humanos. Pachocki plantea que esa premisa comienza a quedarse corta.

“AI is grown more than designed”, escribe, para describir sistemas que desarrollan representaciones abstractas y pueden simular aspectos del comportamiento humano, pero cuyo funcionamiento general se escapa a una descripción completamente comprensible.

La propia ciencia del deep learning, sostiene, continúa siendo fundamentalmente experimental: los grandes entrenamientos son experimentos y sus resultados pueden sorprender incluso a quienes los ejecutan.

La historia que cuenta comienza en 2023, cuando dentro del proyecto de investigación RLSlow aparecieron los primeros resultados que dieron a OpenAI confianza en que era posible escalar el entrenamiento de modelos de razonamiento capaces de generar sus propias cadenas de pensamiento.

Pachocki recuerda que aquella noche no estuvieron pensando únicamente en los resultados de los benchmarks, sino en una posibilidad mucho más profunda: que las máquinas pudieran llegar a ser significativamente más inteligentes que los humanos durante su propia vida.

Tres años después, esa posibilidad ya no pertenece únicamente al terreno especulativo. Los modelos de razonamiento pueden operar computadoras e interfaces gráficas, colaborar con personas y otros sistemas de IA y ejecutar proyectos de investigación. También están modificando el panorama de la ciberseguridad y abriendo nuevas superficies de riesgo.

El problema no es solo que sean más inteligentes

Uno de los puntos más inquietantes del ensayo está en la alineación. Un sistema puede comportarse correctamente en la mayoría de las situaciones conocidas y, aun así, fallar cuando se encuentra frente a un escenario que no estaba suficientemente representado en su entrenamiento.

Pachocki define el desafío fundamental de la alineación como un problema de generalización. A medida que las máquinas se vuelven más inteligentes, trabajan con conceptos de mayor nivel y se enfrentan a entornos cada vez más alejados de aquellos que conocieron durante su entrenamiento.

La pregunta es si los valores que se intentó inculcarles seguirán guiando su comportamiento cuando cambien las circunstancias.

La dificultad aumenta porque el propio ecosistema de IA también está cambiando. Los modelos del futuro tendrán que interactuar no solamente con seres humanos, sino con otras inteligencias artificiales.

Aquí aparece uno de los mecanismos de supervisión que durante años ha sido especialmente importante para OpenAI: el monitoreo de la cadena de pensamiento, conocido como CoT monitoring. La idea es observar no solo qué hace un modelo, sino también cómo llega a una respuesta.

Pero Pachocki reconoce que esta herramienta está perdiendo eficacia. Los modelos modernos operan en ambientes mucho más complejos que los primeros sistemas de razonamiento.

Su proceso interno se mezcla cada vez más con comunicaciones con humanos, otras IA y herramientas externas. Al mismo tiempo, los modelos están mejorando su capacidad para razonar sobre su propio razonamiento y manipularlo. Y, quizá más importante, pueden adquirir inteligencia adicional sin necesidad de verbalizarla mediante una cadena de pensamiento que pueda ser supervisada.

OpenAI ya había tomado decisiones de diseño en esa dirección. Cuando lanzó o1-preview, ocultó deliberadamente la cadena de pensamiento para protegerla de la presión de supervisión a largo plazo. La compañía también señala que evitar la destilación era una razón secundaria, mientras que preservar la monitorización del razonamiento tuvo mayor prioridad.

La consecuencia es paradójica: cuanto más inteligentes son los modelos, más útiles pueden resultar los mecanismos de supervisión, pero al mismo tiempo más difícil puede ser confiar plenamente en ellos.

Una IA que ayuda a construir la siguiente IA

Pachocki considera que la evolución natural de esta tendencia conduce hacia la mejora recursiva de las máquinas, o RSI. Es decir, sistemas de IA que tengan un papel cada vez mayor en su propio proceso de desarrollo.

Según el científico jefe de OpenAI, existe una expectativa fuerte de que el ritmo actual de progreso pueda extenderse hacia esa etapa. Si el desarrollo continúa por la trayectoria actual, los sistemas de los próximos años podrían experimentar saltos de capacidad iguales o mayores a los observados hasta ahora y participar cada vez más en su propio desarrollo.

Eso cambia el cálculo estratégico de la carrera de IA. Una cosa es una compañía que necesita miles de investigadores humanos para entrenar y mejorar un modelo. Otra muy distinta es una organización en la que los propios modelos comienzan a acelerar el trabajo de los investigadores, encontrar soluciones, ejecutar experimentos y contribuir al diseño de sus sucesores.

Lea también: Ciberseguridad y nube en un encuentro único: el CyberCloud Summit llega a Costa Rica