Cuando sale un modelo nuevo de IA, todas las empresas dicen que el suyo es el más avanzado. Para cortar esa guerra de marketing, existen los benchmarks: exámenes diseñados por investigadores independientes para medir, con números reales, qué tan capaces son los modelos.
Los dos benchmarks más importantes de los últimos meses cuentan una historia interesante. A uno casi lo aprueban. Al otro lo reprueban por paliza.
El examen más difícil del mundo: Humanity’s Last Exam (HLE)
En enero de 2025, el Center for AI Safety (CAIS) y Scale AI publicaron el HLE, Humanity’s Last Exam. El nombre no es modesto: fue diseñado para ser el examen que ninguna IA debería poder aprobar todavía.
El HLE tiene 2.500 preguntas de nivel experto, preparadas por casi mil especialistas de más de 500 instituciones. Las áreas cubren desde matemática avanzada (41% del total de preguntas) hasta biología molecular, física, química, humanidades y lingüística. Una pregunta de muestra: “¿Cuántos tendones pareados sostiene el hueso sesamoideo del colibrí ubicado en la aponeurosis caudolateral del m. depressor caudae?” No es una pregunta que podés responder con una búsqueda en Google. Requiere conocimiento especializado de nivel doctorado.
Imagen: CAIS / Scale AI
Cuando salió el HLE, los resultados fueron devastadores para las IAs: GPT-4o sacó 2.7%, Claude 3.5 Sonnet llegó a 4.1%, y el mejor modelo disponible en ese entonces (o1 de OpenAI) apenas alcanzó 8%. Los expertos humanos: 98% a 100%.
Parecía una barrera que iba a durar años en superarse. Pero no duró ni 18 meses. A mediados de 2026, los mejores modelos se mueven entre el 40% y el 53%. El HLE fue publicado en Nature en enero de 2026 para control de todos los especialistas. Ya empieza a quedar chico. Cuando las IA alcancen el 100% en el HLE, ¿podemos decir que se ha alcanzado la Inteligencia General Artificial? No todavía.
ARC-AGI: de rompecabezas de colores a entornos sin instrucciones
El ARC es una serie de benchmarks creada por François Chollet, uno de los investigadores más respetados en IA. La idea central: no medir cuánto sabe la IA, sino si puede razonar en situaciones que nunca vio antes, usando lo que los humanos mejor podemos hacer. El razonamiento abstracto.
Fuente: DataCamp / ARC Prize Foundation
ARC-AGI-1 (lanzado en 2019) planteaba rompecabezas visuales con grillas de colores: se ven pares de ejemplo input-output y hay que deducir la regla para producir la solución. Simple en descripción, brutal en la práctica. Cualquier niño en edad de escuela primaria los pueden hacer sin mucha dificultad. Pero para 2024, los mejores modelos ya pasaban el 90%. Se vio saturado y fue reemplazado.
ARC-AGI-2 (lanzado en 2025) subió la apuesta: reglas más complejas, multi-paso, composicionales. Todavía no está completamente resuelto, pero los mejores modelos con refinamiento llegaron al 54%. Son rompecabezas con reglas más difíciles, que cualquier humano puede resolver con algo de esfuerzo.
ARC-AGI-3 (lanzado en marzo 2026) cambió el formato por completo. Ya no hay rompecabezas estáticos. Ahora hay 135 entornos interactivos, diseñados a mano por diseñadores de videojuegos. El agente de IA los enfrenta sin instrucciones, sin reglas escritas, sin objetivos declarados. Tiene que explorar, descubrir cómo funciona el entorno, deducir qué significa “ganar” y planear cómo llegar ahí. Es, hoy por hoy, la mejor forma de probar el razonamiento abstracto.
(podés jugar estos mini-juegos aquí y aquí)
Así se ve el entorno de ARC-AGI-3: una consola de videojuego sin manual ni tutorial.
Pensalo así: es como tirar a alguien en un videojuego desconocido, sin tutorial, sin ver la caja, sin el manual, y ver si puede jugarlo. Cuatro capacidades medidas simultáneamente: exploración activa del entorno, modelado del mundo (entender cómo funciona), establecimiento de objetivos (deducir qué queremos lograr sin que nadie lo diga) y planificación de acciones.
Los resultados al lanzamiento (Marzo 2026):
Fuente: ARC Prize Foundation / DataCamp, marzo 2026
Humanos: 100%. El mejor modelo de frontera de ese entonces (Gemini 3.1 Pro): 0.37%. GPT-5.4: 0.26%. Claude Opus 4.6: 0.25%. A julio de 2026, algunos de los 153 ya alcanzan el 25% de avance, otros siguen en 0% y se usan los mejores modelos, con tokens ilimitados.
La brecha en favor de los humanos, no podría ser más gráfica.
Lo que el contraste nos dice
HLE y ARC-AGI-3 miden cosas distintas. Sus resultados cuentan la historia en dos partes.
La IA ya acumuló una cantidad de conocimiento que aplasta a cualquier experto humano individual. En el examen de “¿sabés esto?” pasó de 2% a 53% en 18 meses. Es un salto sin precedentes y que no para su avance.
Pero cuando el examen pregunta “¿podés figurarte algo nuevo sin que nadie te lo explique?“, la respuesta es casi cero (por ahora). La IA no explora, no infiere objetivos, no construye un modelo del mundo a partir de la observación. Sabe muchos datos. Pero todavía no piensa de manera abstracta.
Para el abogado que usa IA en su práctica, esto tiene una implicancia concreta: la IA es extraordinaria para el conocimiento acumulado, el análisis de precedentes, la redacción sobre bases conocidas. Ahí brilla. Pero frente a un caso genuinamente novedoso, sin precedentes exactos, con hechos que no encajan del todo en ninguna categoría conocida, la IA sigue siendo un ayudante, no es un piloto.
Seguimos mirando el mismo velocímetro
Cuando miro estos números, lo que me llama la atención no es el 0.37% de ARC-AGI-3. Es la velocidad con la que el HLE se está resolviendo. En 2025 el HLE parecía una frontera imposible y ya la estamos cruzando.
El razonamiento genuino en situaciones nuevas hoy está en menos de medio punto porcentual. Pero si la progresión del HLE sirve de referencia, no sé qué va a decir ese número en 18 meses.
Por eso vale la pena seguir estos benchmarks de cerca. No como competencias académicas abstractas, sino como señales de lo que estamos por ver, y de lo que ya llegó.
¿Usás IA en tu práctica y notaste cambios en los últimos meses? Escribime a nododelta@gmail.com.
