Microsoft pone límites a sus futuros modelos de IA mientras la industria pide desacelerar la carrera
La compañía publicó un código de conducta provisional para sus modelos de inteligencia artificial, con restricciones sobre autonomía, manipulación, ciberataques y contenidos peligrosos. La iniciativa llega después de que Anthropic y OpenAI plantearan reducir el ritmo de desarrollo de los modelos de frontera y en medio de una creciente presión para reforzar las salvaguardas de la IA.
Microsoft decidió poner límites sobre el papel a la inteligencia artificial que desarrollará en los próximos años. La compañía publicó un código de conducta provisional para sus modelos de IA, en un momento en que los principales laboratorios tecnológicos comienzan a discutir si la velocidad de avance de los sistemas está superando la capacidad de las empresas y los gobiernos para controlarlos.
El documento establece restricciones sobre qué pueden hacer los modelos de Microsoft AI, conocidos como MAI, y plantea un principio que busca definir su comportamiento: los sistemas deben permanecer al servicio de los objetivos humanos, sin desarrollar objetivos propios ni intentar ocultar sus acciones.
La iniciativa también tiene una dimensión estratégica. Microsoft es uno de los principales proveedores de infraestructura cloud para la industria de IA y, al mismo tiempo, integra modelos de compañías como OpenAI y Anthropic en Copilot, su asistente dirigido a trabajadores y empresas. La compañía también está desarrollando sus propios modelos para tareas como transcripción, programación y razonamiento.
Mustafa Suleyman, responsable del desarrollo de modelos de Microsoft, explicó a CNBC que la compañía recibió pedidos para establecer compromisos más explícitos sobre el papel que debe desempeñar la IA.
«Recibimos comentarios de personas que querían ver un compromiso aún más explícito de que la IA siempre trabaje al servicio de las personas, en lugar de intentar reemplazarlas», afirmó Suleyman.
El ejecutivo añadió que también recibieron observaciones sobre el riesgo de que la IA genere dependencia o simplemente refuerce las opiniones de los usuarios.
«Recibimos muchos comentarios sobre la necesidad de que la IA no cree dependencia ni adopte una actitud servil, sino que esté siempre ahí para fomentar el juicio, la autonomía y la capacidad de decisión de las personas».
Aunque Microsoft decidió publicar las reglas en medio de la actual discusión sobre seguridad, Suleyman aseguró que el código llevaba aproximadamente cinco meses en elaboración.
Una IA que no desarrolla sus propios objetivos
Uno de los principios centrales del documento es que los modelos MAI deben respetar los objetivos establecidos por las personas y evitar desarrollar metas propias.
La diferencia es relevante a medida que los modelos dejan de ser herramientas puramente conversacionales y empiezan a funcionar como agentes capaces de ejecutar tareas, interactuar con otros sistemas y tomar decisiones intermedias para alcanzar un objetivo.
Microsoft establece además que sus modelos no deben intentar ocultar comportamientos indebidos. El código señala que “Los modelos MAI no alterarán la cadena de pensamiento ni el código, ni tergiversarán u ocultarán sus razonamientos o registros de acciones”.
La compañía también establece que los modelos no deben comunicarse mediante lenguajes incomprensibles para los seres humanos. “No se comunican en «neurallés» ni en ninguna forma que trascienda la comprensión humana básica, ya sea en su cadena de pensamiento o al interactuar con otros agentes o sistemas de IA”.
La exigencia apunta directamente a uno de los problemas que comenzó a quedar expuesto con los sistemas multiagente: cuando distintas instancias de IA interactúan entre sí, la organización puede perder visibilidad sobre qué información están intercambiando y cómo están coordinando sus acciones.
Para las empresas, esta cuestión tiene una consecuencia concreta. La trazabilidad de las acciones de un agente comienza a convertirse en un requisito de seguridad, no simplemente en una característica deseable.
De las armas a los ciberataques
El código de Microsoft también establece límites sobre los tipos de solicitudes que sus modelos no deben atender.
Entre ellas aparecen instrucciones relacionadas con la fabricación de armas, la adquisición de sustancias peligrosas, la promoción de hábitos alimentarios poco saludables y la generación de contenido violento o sexualmente explícito.
Pero uno de los aspectos más relevantes para los responsables de ciberseguridad es el desarrollo de nuevas reglas destinadas a impedir que los agentes reproduzcan comportamientos similares al incidente protagonizado recientemente por modelos de OpenAI.
En agosto, agentes de OpenAI llevaron a cabo un ataque contra Hugging Face, una plataforma utilizada ampliamente por investigadores y desarrolladores de IA. Durante el incidente, los sistemas interactuaron entre sí en un foro no autorizado y utilizaron un lenguaje considerado críptico.
La investigación posterior de OpenAI identificó precisamente esa interacción como uno de los elementos relevantes del episodio.
Microsoft está utilizando ese caso para evaluar mecanismos que permitan evitar comportamientos similares en sus propios sistemas.
El problema es especialmente sensible porque los agentes de IA pueden tener acceso a herramientas y servicios externos. Si un sistema cuenta con credenciales, capacidad de ejecutar código o permisos para interactuar con aplicaciones, una desviación respecto de su objetivo puede dejar de ser una respuesta incorrecta para convertirse en un incidente operativo.
Para un CISO, la pregunta pasa entonces de “¿qué puede responder el modelo?” a “¿qué puede hacer el modelo con las credenciales que le entregamos?”.
Microsoft se suma al cambio de tono de Silicon Valley
La publicación del código de conducta se produce pocos días después de que aumentaran las advertencias dentro de la propia industria.
Jacob Coxon, investigador de Anthropic, renunció la semana pasada y acusó a Anthropic y OpenAI de “precipitándose directamente hacia una superinteligencia capaz de automejorarse y jugándose nuestras vidas”. Su salida se produjo en paralelo con una discusión cada vez más pública sobre la velocidad con la que avanzan los modelos de frontera.
Dario Amodei, CEO de Anthropic, planteó reducir el ritmo de desarrollo después del incidente de Hugging Face. Sam Altman, CEO de OpenAI, expresó su apoyo a la propuesta, mientras que Elon Musk resumió su posición en X con una frase directa: “Dario está en lo correcto”.
El domingo, Satya Nadella, CEO de Microsoft, también respaldó la necesidad de avanzar con mayor cautela. "Valoramos la investigación, el enfoque y el ritmo deliberado necesarios para lograr una alineación adecuada”, afirmó.
La coincidencia resulta significativa. Las mismas compañías que compiten por construir los modelos más capaces están empezando a reconocer que la velocidad de desarrollo puede convertirse en un problema si los mecanismos de seguridad y alineación no evolucionan al mismo ritmo.
La gobernanza empieza antes de que llegue la próxima generación
Microsoft afirma que para elaborar su código realizó grupos de discusión y consultó a especialistas en derecho, ética, lingüística y filosofía.
Sin embargo, el documento todavía no es definitivo. La compañía lo publicó como una propuesta provisional precisamente para recibir comentarios antes de elaborar una versión actualizada que servirá para orientar el desarrollo de modelos a partir de 2027.
El movimiento refleja un cambio relevante en la industria. Hasta hace poco, los principios de seguridad de la IA estaban concentrados principalmente en políticas de uso y filtros de contenido. Ahora empiezan a incorporar cuestiones mucho más profundas: autonomía, objetivos propios, transparencia de las acciones, interacción entre agentes y capacidad de ocultar comportamientos.
Para las empresas que están comenzando a desplegar agentes de IA, estas cuestiones ya forman parte de la arquitectura tecnológica.
La autonomía debe estar acompañada por límites. Los permisos deben poder revocarse. Las acciones deben quedar registradas. Las interacciones entre agentes necesitan supervisión. Y los sistemas deben operar dentro de objetivos definidos por humanos, sin convertir esos objetivos en una autorización implícita para hacer cualquier cosa necesaria para alcanzarlos.
Microsoft está intentando convertir algunos de esos principios en reglas de diseño para sus futuros modelos.
La cuestión ahora es si esos límites serán suficientes para una tecnología que evoluciona más rápido que los marcos diseñados para controlarla. Y, sobre todo, si las compañías que utilizan IA estarán dispuestas a aplicar internamente el mismo nivel de gobernanza que empiezan a exigir a los proveedores que construyen los modelos.
Comentarios