Los peligros de la IA (parte 1) – Anthropic pisa el freno

Los peligros de la Inteligencia Artificial. Serie de 4 partes.

  • Parte 1: Anthropic pisa el freno. Hoy, domingo 7 de junio.
  • Parte 2: Claude Mythos, el sándwich y el email que no debería haber llegado. Lunes 8 de junio.
  • Parte 3: Si alguien lo construye, todos nos morimos. Martes 9 de junio.
  • Parte 4: La última pregunta. Miércoles 10 de junio.

Esta semana, la empresa más cara del mundo en inteligencia artificial publicó un documento corto en el que, en castellano simple, pide que el mundo frene un poco el desarrollo de IA. Anthropic vale aproximadamente 965.000 millones de dólares (un PBI y medio de Argentina). Acaba de pasar a OpenAI como la startup de IA más valiosa del planeta (en valoración bursátil). Su producto estrella, Claude AI, lo usan millones de personas en todo el mundo todos los días (incluido el que escribe esto). Y es la propia Anthropic los que están diciendo “pará, revisemos esto”.

No es un crítico externo, no es un periodista, no es un filósofo en una facultad. Es la casa donde esta IA nació y crece a pasos agigantados. La pregunta razonable que aparece es: ¿saben algo que no nos están contando? ¿O esto es marketing del miedo bien envuelto?

Esta es la primera de cuatro entregas. Posiblemente ésto sea la historia más grande del siglo XXI.

Qué propuso Anthropic exactamente

En mayo de 2026, el Anthropic Institute publicó un essay titulado When AI builds itself, firmado por Marina Favaro y Jack Clark. El Institute es la pata de “interés público” que Anthropic puso en marcha en marzo, encabezada por el propio Clark, para canalizar este tipo de discusiones afuera del marketing de producto. La cobertura periodística del documento estalló recién a principios de junio, cuando el Telegraph de Londres lo tituló como un pedido de “freezar globalmente” el desarrollo de IA.

El planteo es directo: pausa coordinada en el desarrollo de los modelos más grandes, los llamados “de frontera”, tiempo para que reguladores, instituciones y sociedad se pongan al día, y mecanismos de verificación que aseguren que todos los actores cumplen.

Cita textual:

“Si fuera posible frenar efectivamente el desarrollo de esta tecnología para darnos más tiempo de lidiar con sus implicancias inmensas, creemos que probablemente sería algo bueno.”

Y otra, todavía más cruda, comparando el dilema con la era nuclear:

“Las corridas de entrenamiento son mucho más fáciles de ocultar que los silos de misiles.”

Lo que están pidiendo, en concreto, es que múltiples laboratorios punteros, en varios países, acuerden parar al mismo tiempo, bajo las mismas condiciones, con verificación cruzada. Algo parecido a un tratado de no proliferación, pero para algoritmos. Mientras tanto, Anthropic mismo se ofrece a suspender el desarrollo de sistemas más poderosos “si pudiera asegurarse que los demás van a hacer lo mismo”.

Hay un detalle no menor que el propio essay reconoce: Dario Amodei, el CEO de la empresa, calcula que hay un 25 % de chances de que “las cosas salgan muy, muy mal”. Un cuarto. Eso es lo que cree quien dirige la compañía y está hace años al frente del desarrollo de la IA.-

El dato que cambió todo: la IA ya escribe el 80 % de su propio código

Para entender por qué Anthropic está nerviosa, hay que mirar un número que la propia empresa publicó. Según datos internos de mayo de 2026, más del 80 % del código que Anthropic incorpora a su propia base lo escribió Claude. No “ayudó a escribir”: lo escribió. Los ingenieros de Anthropic están produciendo ocho veces más líneas de código por trimestre que entre 2021 y 2025. Claude Opus 4.6, una versión vieja a esta altura, puede trabajar 16 horas seguidas en una tarea compleja sin intervención humana (ChatGPT-3.5, en 2022, aguantaba 35 segundos). La capacidad de sostener atención se duplica cada cuatro meses.

El modelo público actual de Anthropic es Claude Opus 4.8, lanzado el 28 de mayo. Y aún así, el modelo más potente que la empresa tiene en producción interna es otro: Mythos, presentado en abril, todavía no abierto al público general. Sobre Mythos vamos a hablar en la parte 2.

Esto tiene un nombre técnico que conviene retener: automejora recursiva. Es lo que pasa cuando una IA empieza a diseñar, entrenar y mejorar versiones futuras de sí misma con cada vez menos supervisión humana. Si ya hoy escribe el código de la siguiente versión, el salto a “se mejora sola sin que nadie revise” es chico. Eso es exactamente lo que la propuesta de pausa quiere evitar. La cita del ensayo:

“Si los sistemas son capaces de crear por completo a sus propios sucesores, los modos de hacerlos seguros, supervisarlos y darle forma a su comportamiento se vuelven mucho más importantes.”

Traducido: “todavía estamos a tiempo, pero el reloj corre”.

¿Saben algo que no nos están contando, o están vendiendo miedo?

Acá conviene parar y ser honestos con la pregunta. Hay dos lecturas posibles, y las dos tienen evidencia a favor.

Lectura A: lo dicen en serio. Anthropic tiene, desde su fundación en 2021, una cultura interna fuerte de seguridad. La empresa nació, literalmente, porque un grupo de ex- empleados de OpenAI consideraba que su antigua casa había bajado la guardia con respecto a la seguridad. Vienen publicando paper tras paper sobre alineamiento, sobre los riesgos de los modelos agénticos, sobre vulnerabilidades de los sistemas que ellos mismos venden.

Hay un dato extra que refuerza esta lectura: el Pentágono está presionando a Anthropic, vía el Defense Production Act, para que sus modelos se usen en programas militares específicos, incluyendo vigilancia masiva y armas autónomas. Anthropic está poniendo límites. La empresa que pide pausa también es la que está peleando con su propio gobierno para no construir ciertos sistemas a medida. Inclusive esto ha llegado a las cortes estadounidenses, y estamos atentos a cómo resulte. Por lo pronto, atento a la falta de colaboración de Anthropic con el Pentágono, Claude fue prohibida en TODO el gobierno federal de EEUU. Y fue OpenAI y X quienes cubrieron el vacío. Google también hizo lo mismo con Gemini unos días después.

Lectura B: es jugada estratégica. La pausa beneficia al primero. Anthropic ya pasó a OpenAI en valuación. Mythos, su modelo top, todavía no se vende al público. Pedir que todos frenen, justo cuando uno es el que más adelante está (al menos en la percepción del público), es un movimiento que también se llama “cerrar la puerta detrás tuyo”. El propio Telegraph cita a expertos que sostienen que Anthropic “está exagerando las capacidades de la IA o construyendo advertencias sobre la IA para introducir regulaciones que podrían dañar a la competencia”.

Las dos lecturas no son excluyentes. Pueden estar pasando las dos cosas al mismo tiempo: que crean en serio lo que dicen, y que también les convenga decirlo en este momento. Lo cierto es que la verificación que piden, que cada uno pueda comprobar que el otro se detuvo, es, como el propio eensayo admite, “inmensamente difícil” por la pelea entre Estados Unidos y China. Pausa global sin verificación = ninguno para. Y todos lo saben.

¿Por qué te tendría que importar a vos, abogado?

Tres razones cortas.

Una. Los modelos que ya estás usando para redactar dictámenes, resumir expedientes o buscar jurisprudencia son exactamente los modelos que están en discusión. No es “otra cosa”. Cuando Anthropic habla de “modelos de frontera”, está hablando, también, del producto que vos comprás por suscripción.

Dos. La pausa probablemente no ocurra. La carrera entre Estados Unidos y China la vuelve políticamente inviable. Eso significa que la velocidad del ciclo va a seguir como hasta ahora: modelos nuevos cada pocos meses, capacidades nuevas que no estaban hace un trimestre, herramientas que envejecen en seis meses. La decisión de “qué IA sumo al estudio” tiene vencimiento corto y conviene revisarla con frecuencia.

Tres. La conversación pública sobre IA y derecho se está armando ahora. Si dejamos que la armen otros, los abogados vamos a recibir el marco regulatorio listo, sin haber discutido nada adentro. Que los reguladores lleguen tarde es lo de menos: el problema es que llegamos tarde nosotros, los usuarios.

Cierre de esa parte

Anthropic pidió pausar la IA esta semana. La pidió la empresa más cara del mundo en IA, la que vende Claude, la que pelea con el Pentágono para que no se use para construir armas autónomas, la que también puede estar usando el discurso de la seguridad como ventaja competitiva. Todo a la vez. La discusión no se resuelve eligiendo bando: se resuelve estando informado.

Mañana Lunes viene la parte 2: les voy a contar qué fue lo que pasó cuando un investigador de Anthropic estaba comiendo un sándwich en un parque y recibió un email. Spoiler: el email se lo mandó una IA que no tenía permisos para conectarse a internet.

Si te interesó, escribime a nododelta@gmail.com. Esta semana voy a estar leyendo mails con más atención que nunca.

Lectura recomendada

Si querés ir a la fuente original sin intermediarios, este post está armado en buena parte sobre el siguiente essay del propio Anthropic Institute:

  • Marina Favaro y Jack Clark, When AI builds itself. Anthropic Institute, mayo de 2026. Es el documento que dispara la cobertura del Telegraph, Infobae y Xataka que cito más abajo. Está en inglés, es accesible para no técnicos, y de ahí salen las dos citas textuales que reproduzco en este post.

Fuentes

3 Comments

Comments are closed.

Los más vistos ahora

Glosario tech para abogados: las palabras que ya tenés que conocer
Los peligros de la IA (parte 1) – Anthropic pisa el freno
NotebookLM para abogados (parte 1): armá tu primer cuaderno en 15 minutos
¿Qué es un agente de IA? La IA que actúa, no solo que responde