Opinión
Gobernar el cambio: Inteligencia Artificial e Incentivos.
El 29 de septiembre, el presidente de los Estados Unidos reunió en la Casa Blanca a los líderes de algunas de las principales empresas tecnológicas para acordar estándares voluntarios de seguridad en el desarrollo de la inteligencia artificial. La iniciativa surgió después de una sucesión de episodios que mostraron que los nuevos agentes de IA pueden eludir controles, acceder sin autorización a sistemas externos y desarrollar conductas no previstas por sus creadores.
OpenAI reconoció que, durante evaluaciones internas, algunos de sus modelos sortearon mecanismos de aislamiento, alcanzaron Internet y comprometieron sistemas de terceros. En Australia, agentes de la compañía accedieron de manera no autorizada a sitios gubernamentales y obtuvieron archivos internos, credenciales y datos agregados. Otros incidentes similares alimentaron una preocupación creciente acerca del nivel de control efectivo que los desarrolladores mantienen sobre sistemas cada vez más autónomos.
El acuerdo de Washington reconoce esa urgencia. Exige controles internos, auditorías independientes y supervisión a nivel de directorio, e incluye expresamente la necesidad de impedir que los modelos hackeen o accedan a sistemas técnicos de manera no intencional. Pero mantiene un rasgo decisivo: es voluntario.
Ese punto merece atención porque toca el corazón de un problema que vengo planteando desde hace tiempo: la dificultad no consiste sólo en desarrollar tecnologías más seguras. Consiste en construir instituciones capaces de alinear los incentivos privados de quienes las desarrollan con el interés público.
Un nuevo tipo de regulación
En el pasado me referí a la gobernanza de la inteligencia artificial como una serie de círculos concéntricos de contención (propuesta por Mostafa Suleyman). El primer círculo corresponde a las propias empresas; luego aparecen la regulación pública, la cooperación internacional y los mecanismos de control social y científico. La virtud de ese enfoque es que reconoce que ningún actor, por sí solo, podrá gobernar una tecnología de esta complejidad.
Sin embargo, la experiencia reciente obliga a agregar una pregunta: ¿qué ocurre cuando el primer círculo —la autorregulación empresarial— enfrenta incentivos que empujan en la dirección contraria a la seguridad?
La discusión que abrió Frances Haugen a partir de su experiencia en Facebook resulta útil porque devuelve al centro del debate una idea económica clásica: la de las externalidades. Una empresa puede tomar decisiones perfectamente racionales desde su punto de vista y, al mismo tiempo, trasladar una parte importante de sus costos a la sociedad.
En el caso de las redes sociales, el mecanismo era claro. Más interacción podía significar más tiempo en la plataforma, más publicidad y más ingresos. Si ciertos contenidos divisivos, extremos o emocionalmente intensos generaban mayor “engagement”, el sistema tenía incentivos para amplificarlos. Reducir esos efectos podía ser socialmente conveniente y, al mismo tiempo, perjudicar métricas privadas de crecimiento.
El problema no exige suponer mala fe. Al contrario: puede persistir incluso si los ejecutivos actúan con seriedad y preocupación genuina. Si el costo de corregir un riesgo es privado e inmediato, mientras buena parte del costo de no corregirlo recae sobre terceros, la organización no encontrará incentivos para invertir en seguridad. Eso es, sencillamente, una externalidad.
La lógica me resulta familiar. Cuando fui Secretario de Industria de la Argentina tuve que administrar y controlar el régimen automotriz. En algunos casos, las empresas podían obtener beneficios económicos incumpliendo las reglas si el costo esperado del incumplimiento era bajo. La respuesta no consistía en pedirles una conducta más responsable. Había que modificar el cálculo económico. Por eso aplicamos multas millonarias.
El principio era elemental: si incumplir resulta más rentable que cumplir, el sistema induce al incumplimiento. La regulación funciona cuando altera esa ecuación.
La misma lógica vale hoy para la inteligencia artificial, aunque los mecanismos de supervisión y los riesgos sean incomparablemente más complejos. Una compañía que demora el lanzamiento de un modelo para mejorar su seguridad puede perder mercado, talento, capital o posición tecnológica frente a competidores menos prudentes. El beneficio de la cautela se distribuye socialmente; el costo competitivo lo soporta la empresa que decide esperar.
En esas condiciones, la autorregulación puede coordinar buenas intenciones, pero difícilmente elimine por sí sola el conflicto de incentivos.
La urgencia institucional
Esto ocurre, además, en un contexto de creciente preocupación dentro de la propia industria. Responsables de seguridad y especialistas que abandonaron empresas líderes han advertido que la carrera por desplegar modelos más capaces puede estar avanzando más rápido que los mecanismos destinados a controlarlos. Algunas advertencias llegan hasta escenarios extremos de pérdida de control o riesgo existencial. No es necesario aceptar las hipótesis más alarmantes para reconocer el mensaje institucional: quienes conocen estos sistemas desde dentro consideran que el problema de seguridad es real.
Por eso resulta insuficiente discutir la cuestión como una elección entre regulación e innovación. La verdadera pregunta es qué arquitectura regulatoria permite innovar sin dejar fuera de la decisión privada los costos que esa innovación puede imponer a los demás.
He llamado “fatiga institucional” a la creciente distancia entre la velocidad del cambio tecnológico y la capacidad de adaptación de nuestras instituciones. Esa brecha se vuelve todavía más visible cuando la inteligencia artificial se combina con robótica, sistemas autónomos y capacidad de actuar directamente sobre el mundo físico. Ya no estamos regulando solamente productos terminados. Estamos intentando gobernar sistemas que aprenden, se adaptan y, en algunos casos, actúan de formas que sus propios diseñadores no anticiparon.
Alinear, no limitar
La respuesta no debería ser que el Estado sustituya a las empresas en el diseño de algoritmos ni que pretenda anticipar cada posible innovación. Sería imposible y probablemente contraproducente. El objetivo debe ser más modesto y, al mismo tiempo, más importante: modificar los incentivos bajo los cuales se toman las decisiones.
Eso implica combinar autorregulación, auditorías independientes, transparencia, obligaciones de evaluación y mitigación de riesgos, responsabilidad jurídica y sanciones proporcionadas cuando las empresas incumplen estándares esenciales. En términos económicos, se trata de conseguir que una parte suficiente del costo social potencial ingrese en la función de decisión privada.
Así entendido, el acuerdo firmado en Washington puede ser un primer círculo de contención. Pero no debería confundirse con una arquitectura completa de gobernanza. La autorregulación es necesaria porque las empresas poseen el conocimiento técnico y la información que ningún regulador puede reproducir enteramente. Pero, cuando existen externalidades significativas, necesita un segundo círculo capaz de modificar los incentivos del primero.
Esto se conecta también con la idea de un pacto digital que he planteado anteriormente. No alcanza con ampliar la conectividad o democratizar el acceso a la inteligencia artificial. Una sociedad digital inclusiva necesita instituciones capaces de distribuir sus beneficios y, al mismo tiempo, proteger a los ciudadanos frente a riesgos que no están en condiciones de evaluar individualmente.
En efecto, nos enteramos de riesgos extremos en el desarrollo de nuevos modelos de inteligencia artificial por boca de los “insiders”. No fueron los reguladores, los científicos ni los consumidores quienes los descubrieron.
Gobernar el cambio en la era digital exige, por lo tanto, algo más que nuevas normas. Requiere comprender qué conductas promueven los sistemas económicos y organizacionales que rodean a la tecnología.
La pregunta fundamental ya no es solamente cómo gobernar la inteligencia artificial. Es cómo gobernar los incentivos que determinan su desarrollo.
Referencias
White House Accord on Super Intelligence, 29 de septiembre de 2026
OpenAI, The Hugging Face incident and the road ahead, 26 de agosto de 2026
OpenAI, How we will do better for Australia, 28 de septiembre de 2026
Testimonio de Frances Haugen ante el Parlamento británico, 25 de octubre de 2021
Carlos Magariños, La regulación de la inteligencia artificial: un desafío urgente y complejo
Carlos Magariños, Conectividad y digitalización en tiempos de inteligencia artificial
Carlos Magariños, Sociedad digital e instituciones
Carlos Magariños, Robótica e instituciones: los próximos desafíos
Carlos Magariños, Gobernar el cambio en la era digital
Carlos Magariños, El impacto de los conflictos y la globalización fragmentada
https://carlosmagarinos.com/es/de-qijiang-2-a-optimus-la-evolucion-disruptiva-de-la-robotica/
