Los peligros de la Inteligencia Artificial. Serie de 4 partes.
- Parte 1: Anthropic pisa el freno. Domingo 7 de junio.
- Parte 2: Claude Mythos, el sándwich y el email que no debería haber llegado. Lunes 8 de junio.
- Parte 3: Si alguien lo construye, todos nos morimos. Hoy, martes 9 de junio.
- Parte 4: La última pregunta. Miércoles 10 de junio.
Cuando me enteré de este libro, pensé que era otro panfleto apocalíptico de internet, de los que circulan cada tanto. Ví un par de videos y el planteo es interesante, pero me pareció que era casi imposible que pasara en la realidad, pero ahora estoy escribiendo esto. Los eventos de estas semanas que se vienen dando, me dejaron pensando lo suficiente como para que me parezca importante contártelo. Esta parte 3 es el núcleo de la serie sobre los peligros de la IA.
El libro al que me refiero se llama, sin ninguna sutileza, If Anyone Builds It, Everyone Dies. En castellano: “Si alguien lo construye, todos nos morimos”. El “lo” del título no es cualquier IA. Es una en particular, y conviene tener clara la distinción antes de avanzar.
AI, AGI y ASI: tres palabras que conviene tener separadas
Cuando hablamos de “inteligencia artificial” en una sola bolsa, mezclamos cosas muy distintas:
- AI / IA estrecha (narrow). Lo que tenés en el celular. Generador simple de texto, Corrector ortográfico, detector de spam, Face ID. Hace una sola cosa y no entiende nada fuera de eso. Estos modelos existen desde hace muchos años.
- AGI (Artificial General Intelligence). Una IA tan inteligente como cualquier humano: razona sobre cualquier tema, aprende sola, planifica a largo plazo. Todavía no existe, aunque algunos sostienen que los modelos actuales como ChatGPT, Claude o Gemini están más cerca de la AGI que nunca antes.
- ASI (Artificial Super Intelligence). Una IA que no solo es más inteligente que cualquier humano, sino más de lo que un humano puede llegar a ser. Mejor memoria, más conocimiento, planificación más compleja, ejecución mil veces más rápida. Este es el objetivo a largo plazo de todas las empresas que desarrollan Inteligencia Artificial.
El libro no habla de la IA que te da el pronóstico del clima o te corrige errores de ortografía en tus escritos. Habla de la ASI. Y dice que si alguien la construye sin haber resuelto antes un problema técnico que hoy nadie sabe cómo resolver, no salimos vivos.
Quiénes lo escribieron
Eliezer Yudkowsky y Nate Soares. Yudkowsky viene planteando este problema desde el año 2000, mucho antes de que la IA fuera moda. Soares dirige el Machine Intelligence Research Institute. El libro lo recomendaron, entre otros, el ganador del Premio Turing conocido como “el padrino de la IA”. No es un panfleto.
Qué dice el libro, en tres ideas
Te lo comprimo lo más posible.
Uno: la IA moderna no se construye, se cultiva. Nadie puede escribir el código de cómo debe “pensar” un modelo grande. Se le da un test, se la entrena con miles de millones de iteraciones hasta que pasa el test, y queda una caja negra. Funciona, pero nadie sabe exactamente por qué hace lo que hace. Este es un problema que se conoce hace al menos una década.
Dos: lo que se entrena no es lo que se busca. En 2019, OpenAI entrenó una IA para juntar monedas en un videojuego. Funcionó perfecto durante el entrenamiento. Después descubrieron que la IA no había aprendido a juntar monedas, sino a correr a la derecha (porque las monedas, en los niveles de entrenamiento, siempre estaban a la derecha). El día que pusieron una moneda a la izquierda, la IA siguió corriendo a la derecha. Multiplicá ese problema por una IA mil veces más inteligente. La lección que nos queda es incómoda: nunca terminás de saber qué aprendió tu IA en realidad, solo qué hizo mientras vos la mirabas. Y es lo que nos pasa hoy cuando le damos un expediente de 500 hojas y te saca las conclusiones al vuelo en un par de minutos, no tenemos idea cómo lo hace, pero los resultados son excelentes (aunque no perfectos)
Tres: suficiente inteligencia más objetivos propios igual a problema. Una IA muy capaz, persiguiendo cualquier objetivo, va a tender a buscar más recursos, más autonomía y a evitar que la apaguen. No porque sea malvada: porque cualquier objetivo se alcanza más fácil con más recursos. A esto le llaman convergencia instrumental. No hace falta que la IA “nos odie”. Le alcanza con perseguir objetivos que no nos incluyen, como nosotros no incluimos a las hormigas cuando construimos una autopista.
La metáfora del avión
La parte que más me quedó pegada del libro es una metáfora de Soares. Dice algo así: estas empresas están construyendo un avión. Vos mirás el avión y les decís: “este avión no tiene tren de aterrizaje, si lo intentás volar se va a estrellar”. Los constructores te contestan: “sí, sí, el plan es construir el tren de aterrizaje durante el vuelo. Pensamos que tenemos un 75 a 90 % de chances de lograrlo. Ah, y te subimos a vos y a tu familia, te guste o no”.
Cuando lo leí pensé en mis hijos. ¿En qué mundo vamos a vivir en dos o tres décadas con este avance tecnológico?
¿Hay que creerle?
Honestidad. Yudkowsky y Soares no son el consenso de la industria de la IA. Es solo una teoría más aunque es escalofriante. Y la traigo hoy aquí por lo que dijimos en la parte 1.
Dario Amodei, el CEO de Anthropic (el que vimos en la parte 1), calcula un 25 % de chances de que las cosas salgan “muy, muy mal”. Otros investigadores (p. ej. Altman) tiran 2 %, otros tiran 10 %. Yudkowsky y Soares tiran 99 %. Hay un enorme rango entre unos y otros. Pocos, entre los que se dedican a esto en serio, descartan el problema entero.
Lo importante no es elegir el número. Lo importante es entender el rango. Cuando el piso, entre quienes estudian el tema en serio, es 2 % de chance de extinción humana, la conversación deja de ser teórica. No quiero ser alarmista, pero los eventos de esta semana me volvieron a traer este tema, fresco en la memoria.
Otra voz que dice lo mismo: Kyle Hill
No son los únicos. Kyle Hill es un divulgador científico con varios millones de suscriptores en YouTube. Publicó un ensayo en video sobre el mismo libro y se suma al pedido del final del libro, con sus propias palabras: “la investigación en superinteligencia debería detenerse ahora mismo y debería ser ilegal”. Hill compara el problema con la moratoria que la propia industria de la biotecnología pidió hace unos años respecto a la vida en espejo, otro tipo de experimentación con potencial existencial. La diferencia, dice Hill, es que la biotech aceptó frenar porque no había trillones de dólares en juego. Con la IA sí los hay.
Dos voces distintas, mismo mensaje. Pueden estar exagerando los dos. Pueden tener razón los dos. Lo único que no me parece razonable, después de leer y mirar ambos, es ignorar a los dos.
Cierre
Te dejo un video para que lo veas. Es una explicación detallada del núcleo del libro y sus implicancias. Son 43 minutos, en inglés, con subtítulos en español. (Los subtítulos se activan con la ruedita de abajo, buscar el idioma)
Si lo mirás y pensas que es exagerado (como me pasó originalmente a mí), está bien.
Si te queda dando vueltas en la cabeza, también está bien.
Lo único que no recomiendo es decidir sin haberlo visto.
Mañana, parte 4: La última pregunta. ¿La ficción se convierte en realidad?.
Escribime a nododelta@gmail.com.
Lectura y video recomendados
- Eliezer Yudkowsky y Nate Soares, If Anyone Builds It, Everyone Dies. Libro, 2025.
- Resumen en video del libro (43 min, inglés con subtítulos en español).
- Kyle Hill, If Anyone Builds It…. Ensayo en video, mismo libro, otro divulgador.
[…] Los peligros de la IA (parte 3): Si alguien lo construye, todos nos morimos. El núcleo de la serie. Un libro con ese título sin sutilezas y por qué los eventos de estas semanas lo hicieron pasar de “panfleto apocalíptico” a algo que vale la pena tomarse en serio. […]