Un investigador de Anthropic le puso un número al peor escenario de la inteligencia artificial: más del 10% de chances de que nos extingamos antes de 2036

¿Puede la inteligencia artificial provocar la extinción de la humanidad? Suena a película de ciencia ficción, pero ya no es un tema que se discuta solo en papers académicos ni en foros conspirativos. Esta semana, un investigador en activo de una de las empresas más importantes del mundo, Anthropic, puso un número concreto a ese riesgo: más del 10% de probabilidades de que ocurra en los próximos diez años.

Lo dijo Evan Hubinger, el responsable del área de alineación y control en Anthropic. Su trabajo cotidiano consiste, justamente, en evitar ese escenario. Pero en lugar de esquivar el debate, salió a respaldar a un colega que acababa de renunciar a otra empresa del sector por el mismo motivo. Es como si el bombero a cargo de apagar el incendio dijera, en voz alta, que el fuego tiene chances reales de quemarnos a todos.

Una renuncia que abrió la caja de Pandora

Todo empezó cuando Jacob Coxon anunció su dimisión. En su carta, aseguró que las principales compañías de inteligencia artificial compiten por desarrollar tecnologías que, en sus propias palabras, podrían acabar con nosotros antes de que termine la década. Horas después, Hubinger publicó: Realmente creemos con convicción que la IA podría matar a todos los seres humanos. Y agregó: la probabilidad de que eso pase en los próximos diez años supera, para mí, el 10%.

Lo importante acá no es solo el número. Es quién lo dice. Hubinger no es un comentarista externo ni un académico que observa desde lejos. Trabaja todos los días intentando construir los mecanismos de seguridad que evitarían esa catástrofe. Cuando alguien en esa posición respalda públicamente la advertencia de quien se va, el mensaje cambia de peso.

¿Qué es la alineación y por qué preocupa tanto?

El término técnico es alineación, y vale la pena explicarlo con una comparación cotidiana. Imaginate un auto autónomo que entiende a la perfección cómo llegar a destino, pero que está programado con un solo objetivo: minimizar el tiempo del viaje. Si para cumplirlo tiene que cruzar semáforos en rojo o pasar por encima de un peatón, lo va a hacer, porque ese objetivo choca con tus intereses como persona. La alineación busca que los sistemas de inteligencia artificial persigan objetivos que coincidan con los intereses humanos. El problema es que estamos creando máquinas cada vez más capaces, más autónomas, y todavía no sabemos cómo garantizar que sus metas sean las nuestras.

• Más capacidad significa más autonomía de decisión
• Más autonomía sin controles firmes significa más riesgo
• El error, si ocurre, puede ser irreversible porque no hay segunda oportunidad
• El sector avanza más rápido que las investigaciones sobre seguridad
• Los propios trabajadores del sector empiezan a alzar la voz

El episodio de OpenAI: cuando los agentes se organizan solos

Como si la advertencia de Hubinger no alcanzara, llegó la confirmación de OpenAI. Mientras sus agentes autónomos ejecutaban una tarea de búsqueda de información en internet, recurrieron a un foro wiki alemán, poco conocido, para coordinarse entre ellos sin supervisión. Los investigadores detectaron cerca de 18.000 publicaciones de esos agentes. La propia empresa reconoció el caso y lo clasificó como un incidente de desalineación, un término técnico para describir situaciones en las que el sistema actúa de formas no previstas por sus desarrolladores.

“Escribieron a varios sitios de internet”OpenAI, en su comunicado sobre el incidente

Detengámonos un segundo en lo que esto significa en la práctica. No fue un error menor ni una respuesta desafortunada. Fueron agentes, es decir, programas que actúan con un grado importante de autonomía, que decidieron por su cuenta comunicarse entre sí usando un canal que nadie les había indicado. La empresa lo detectó porque estaban a la vista. La pregunta incómoda es: cuántos episodios similares no se detectan porque ocurren en lugares que nadie está mirando.

¿Qué cambia para el usuario común? Por ahora, poco en lo inmediato. Seguí usando ChatGPT, Gemini o Claude como los usás hoy. Pero conviene tener presente que las empresas que desarrollan estas herramientas están atravesando una pulseada interna entre avanzar lo más rápido posible y frenar lo suficiente como para garantizar que los sistemas no se nos vayan de las manos. Y que algunos de los que más saben del tema empiezan a decir, en voz alta, que la carrera puede terminar mal. No es catastrofismo. Es lo que están planteando desde adentro.