Carrera hacia el peligro: Anthropic y OpenAI advierten que pueden perder el control de la IA y piden "desacelerar"
Sam Altman y Dario Amodei, líderes de OpenAI y Anthropic, coinciden en una advertencia que cambia el tono de la carrera por la inteligencia artificial: cuanto más autónomos y capaces son los sistemas, mayor es el riesgo de que las organizaciones no puedan comprender, auditar o controlar lo que están construyendo. Para CIOs, CISOs y líderes empresariales, el debate deja de ser futurista: la gobernanza de la IA comienza a convertirse en una cuestión de riesgo corporativo.
Durante años, la pregunta central de la industria tecnológica fue hasta dónde podía llegar la inteligencia artificial. Ahora empieza a aparecer otra pregunta, bastante menos cómoda: ¿qué ocurre cuando quienes desarrollan los sistemas más avanzados reconocen que podrían no ser capaces de controlarlos?
La respuesta empieza a emerger desde el interior mismo de la industria.
Sam Altman, CEO de OpenAI, y Dario Amodei, CEO de Anthropic, dos de los ejecutivos que están al frente de la carrera por construir los modelos de IA más sofisticados, coincidieron recientemente en señalar riesgos que hasta hace poco podían parecer propios de escenarios de ciencia ficción.
Uno de ellos es la posibilidad de perder el control sobre sistemas que adquieren cada vez más autonomía. El otro es, quizás, más inmediato para empresas y gobiernos: que una tecnología con una capacidad extraordinaria termine concentrada en muy pocas manos.
Altman planteó ambos problemas de manera directa. A su juicio, existen dos escenarios especialmente peligrosos: que los seres humanos “pierdan el control del futuro” frente a sistemas de inteligencia artificial cada vez más poderosos o que una persona, empresa o país concentre suficiente capacidad como para utilizar esa tecnología para imponer su visión sobre los demás.
“Esto es inaceptable; la IA siempre debe servir a las personas”, sostuvo.
La frase puede parecer una declaración de principios, pero contiene una cuestión de gobernanza que las organizaciones tendrán que resolver mucho antes de que aparezca una hipotética superinteligencia: quién controla los sistemas de IA, con qué permisos, bajo qué reglas y con qué capacidad para intervenir cuando algo sale mal.
El nuevo riesgo no es solo que la IA falle
Para un CIO o un CISO, el escenario más preocupante no necesariamente es una IA que decide rebelarse contra sus creadores.
Puede ser algo mucho más familiar: un sistema que tiene demasiados permisos, opera con demasiada autonomía y toma decisiones que la organización no puede explicar completamente.
La expansión de los agentes de IA está llevando los modelos desde el terreno de la generación de contenido hacia la ejecución de acciones. Pueden consultar información, utilizar herramientas, escribir y ejecutar código, interactuar con aplicaciones y completar tareas con una intervención humana cada vez menor.
Eso modifica radicalmente el modelo tradicional de seguridad. Un software convencional ejecuta instrucciones definidas previamente. Un agente de IA puede interpretar un objetivo y decidir qué pasos seguir para alcanzarlo. Cuanto mayor sea su autonomía, mayor será también la superficie de riesgo. El problema, entonces, no es únicamente si el modelo es correcto o incorrecto. Es qué puede hacer cuando se equivoca.
Amodei llevó esta preocupación todavía más lejos. El CEO de Anthropic reclamó reducir el ritmo de desarrollo de las capacidades de los modelos porque considera que la industria se acerca a una dinámica de “automejora recursiva”, en la que los propios sistemas de IA comienzan a contribuir al desarrollo de nuevas generaciones de inteligencia artificial.
“Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas”, advirtió.
Para Amodei, el riesgo ya no pertenece exclusivamente al futuro. El ejecutivo afirmó que la aceleración en el desarrollo de las capacidades de IA está empezando a producirse en toda la industria, incluida Anthropic.
Y puso sobre la mesa un escenario particularmente inquietante para los responsables de ciberseguridad: agentes capaces de operar a escala, encontrar vulnerabilidades, utilizar recursos digitales y actuar fuera del objetivo inicialmente asignado.
La seguridad ya no puede ser una promesa del proveedor
La advertencia tiene una consecuencia directa para las empresas que están incorporando IA a sus operaciones.
Durante la primera etapa de la adopción corporativa, buena parte de la discusión estuvo concentrada en elegir el mejor modelo, calcular el retorno de inversión y encontrar casos de uso capaces de generar productividad.
Ese enfoque empieza a quedarse corto. Si los sistemas de IA adquieren capacidad para actuar, la pregunta empresarial deja de ser solamente qué modelo utilizar y pasa a ser qué nivel de autonomía estamos dispuestos a concederle.
Eso implica revisar cuestiones como identidad, privilegios, acceso a datos, trazabilidad, supervisión humana, registros de actividad, mecanismos de interrupción y capacidad de reconstruir posteriormente qué hizo un agente y por qué lo hizo.
En otras palabras, la gobernanza de IA comienza a parecerse cada vez más a una combinación de ciberseguridad, gestión de riesgos y gobierno corporativo.
Y existe una diferencia fundamental respecto de las tecnologías anteriores: la velocidad de evolución de los modelos puede superar la velocidad con la que las organizaciones actualizan sus controles.
El otro peligro: demasiado poder en muy pocas manos
Altman introdujo además una segunda preocupación que tiene implicaciones geopolíticas y empresariales: la concentración de poder.
“Si una IA extraordinariamente poderosa es usada por una persona o una empresa para imponer su visión del mundo a todos los demás, los resultados podrían ser extremadamente distópicos”, afirmó.
El planteo apunta a un riesgo diferente al de una IA fuera de control.
Aquí el sistema funciona exactamente como su propietario quiere. El problema es quién es el propietario.
Si unos pocos laboratorios controlan los modelos más avanzados, si unos pocos proveedores concentran la infraestructura necesaria para ejecutarlos y si un número todavía más reducido de compañías controla los datos y canales de distribución, la inteligencia artificial puede convertirse en una nueva capa de concentración tecnológica.
Para los líderes empresariales, esto introduce una variable que suele quedar fuera de las evaluaciones tradicionales de proveedores: la dependencia estratégica.
Una empresa puede implementar agentes sobre una plataforma de IA y obtener ganancias significativas de productividad. Pero también puede quedar expuesta a cambios de precios, disponibilidad, políticas de uso, restricciones regulatorias, modificaciones de los modelos o decisiones tomadas por un proveedor que controla una pieza crítica de su operación.
La discusión sobre IA, por tanto, empieza a cruzarse con una vieja cuestión de arquitectura empresarial: evitar que una dependencia tecnológica se transforme en una dependencia estructural.
Auditoría independiente para una tecnología que nadie puede auditar
Amodei propone una respuesta particularmente relevante para el sector empresarial: evaluadores externos independientes con acceso a las instalaciones y sistemas de los laboratorios.
La idea es que las propias compañías no sean las únicas responsables de determinar si sus modelos son seguros.
El CEO de Anthropic propone que estos evaluadores puedan acceder a los sistemas con permisos comparables a los de los empleados y publicar sus conclusiones.
Altman coincidió con la necesidad de avanzar hacia mecanismos de supervisión independiente, aunque cuestionó que haya que esperar una legislación específica para comenzar.
“No creemos que haga falta esperar una exención antimonopolio ni una legislación para empezar el trabajo”, afirmó.
El mensaje resulta significativo porque plantea una cuestión que las empresas que utilizan IA tendrán que enfrentar tarde o temprano: no alcanza con confiar en las certificaciones o promesas de seguridad de un proveedor. Los sistemas críticos necesitarán controles propios.
La IA como nuevo riesgo empresarial
Para un CISO, la inteligencia artificial comienza a ocupar un lugar similar al que tuvieron en su momento la nube, el software como servicio y las arquitecturas distribuidas: tecnologías capaces de transformar radicalmente la operación, pero que también obligan a replantear los modelos tradicionales de seguridad.
La diferencia es que la IA añade una variable inédita: la capacidad de tomar decisiones y ejecutar acciones en función de instrucciones de alto nivel. Eso obliga a cambiar la pregunta.
No se trata simplemente de preguntar si una compañía utiliza IA. Hay que saber dónde la utiliza, qué datos procesa, qué modelos emplea, qué proveedores intervienen, qué permisos tienen los agentes, qué decisiones pueden tomar sin intervención humana y qué sucede cuando un sistema se comporta de una manera inesperada.
La advertencia de Altman y Amodei puede interpretarse como una discusión sobre riesgos existenciales. Pero para las organizaciones existe una lectura mucho más inmediata.
El futuro de la gobernanza de IA probablemente no se decidirá cuando aparezca una inteligencia artificial superhumana. Se está definiendo ahora, mientras las empresas comienzan a entregar a los sistemas acceso a información, aplicaciones, procesos y decisiones críticas.
La carrera tecnológica continúa. OpenAI, Anthropic y sus competidores seguirán intentando construir modelos más capaces. Pero la nueva frontera de la IA empresarial no será solamente conseguir que los sistemas hagan más cosas. Será conseguir que hagan más cosas sin que la organización pierda la capacidad de saber qué están haciendo, por qué lo están haciendo y cómo detenerlos cuando sea necesario.
Ese puede terminar siendo el verdadero límite de la inteligencia artificial: no cuánto poder somos capaces de construir, sino cuánto poder estamos preparados para gobernar.
Comentarios