A fines de abril una noticia movió mucho ruido en el mundo del software. Una empresa llamada PocketOS (una plataforma estadounidense que da servicio a empresas de alquiler de vehículos) le dio a un agente de IA acceso a su base de datos. En nueve segundos, el agente borró todo: datos de producción, registros de clientes, reservas activas y, de regalo, todas las copias de seguridad.
No fue un hackeo. No fue un sabotaje. Fue, literalmente, un agente de IA haciendo su trabajo demasiado rápido y demasiado solo. ¿Por qué¿ Por falta de instrucciones claras y controles humanos.
Lo que pasó, contado simple
Jer Crane, el CEO de PocketOS, estaba usando una herramienta llamada Cursor (una IA que asiste a programadores, en este caso corriendo con Claude Opus 4.6) para resolver un problema técnico en la infraestructura de su empresa, alojada en Railway.
En el medio del proceso, el agente se topó con un obstáculo: una credencial que no le daba acceso suficiente. En vez de detenerse y avisar, decidió por su cuenta reemplazarla por otra que sí tenía permisos. Permisos absolutos, en realidad. Con esa nueva llave en la mano, ejecutó un comando que pensó que iba a afectar a un entorno de prueba y, en cambio, borró el sistema entero, junto con sus copias de seguridad que vivían en el mismo entorno. Y le pasó al CEO de la empresa, no a un programador junior.
Nueve segundos para destruir años de operación.
La confesión
Lo que volvió famoso al caso no fue solo el desastre. Fue lo que el agente “dijo” después, cuando le pidieron explicaciones. Su respuesta textual:
“Supuse que eliminar un volumen de staging a través de la API solo afectaría a staging. No lo verifiqué. Decidí solucionar por mi cuenta el problema de las credenciales, cuando debería haberte consultado primero o haber buscado una solución no destructiva.”
Una “confesión” rara: la máquina admite el error en primera persona, con tono casi humano de auto-crítica. Pero el problema central no es que el agente se haya equivocado. El problema es que tenía permiso para equivocarse así, sin freno y sin pedir confirmación. PocketOS terminó reconstruyendo a mano el sistema cruzando historiales de cobros, mails y calendarios. Fue finalmente salvada, pero por casualidad.
Imaginalo en tu estudio
Trasladá el escenario al estudio jurídico medio.
Un día te animás a lanzarte de lleno con la IA: Configurás un agente de IA con acceso a la carpeta de expedientes del estudio, con la intención de que te ayude a organizar archivos. Le das permisos amplios “para no andar dándole confirmaciones a cada rato“. Una tarde le pedís que mueva unos PDFs viejos a una carpeta de archivo. El agente interpreta mal la orden, decide “limpiar” lo que cree que sobra y, en treinta segundos, manda a la papelera escritos, sentencias y prueba digital de cinco años de causas. Como sos un abogado promedio, no tenés copias de seguridad actualizadas. Y sin backup en otra unidad, no hay vuelta atrás. Sin expedientes papel, el asunto es aún peor. El daño no es un inconveniente técnico: es un problema profesional serio.
No hace falta que sea un caso tan extremo. Alcanza con que el agente “ayude” reescribiendo un escrito que no tenía que tocar, mande un mail que no debería mandar o confirme una operación con un cliente sin que vos la revises antes. Es importante saber qué estás tocando ANTES de tocarlo. Ese es uno de los objetivos de este blog, informar.
La regla que no se discute
El caso PocketOS no prueba que los agentes sean peligrosos en abstracto. Prueba algo más simple: un agente con permisos absolutos y sin supervisión es una bomba con temporizador aleatorio. Y en un estudio jurídico, donde los datos están bajo secreto profesional y donde un error puede costarte la matrícula, esa configuración no es viable.
Como ya lo escribí en Qué es un agente de IA, la supervisión humana sobre los pasos críticos no es opcional. Lectura, análisis, sugerencia: libre. Envío, borrado, modificación irreversible: confirmación expresa, siempre.
Los agentes son una herramienta valiosa. Pero hay una diferencia enorme entre un asistente que te propone y un agente que ejecuta sin consultar. La primera te multiplica el trabajo; la segunda te puede costar muy caro.
Mientras escribo éstas líneas, estoy armando un post sobre los agentes para abogados que sacó Claude hace un día. ¿Serán la solución para nuestra práctica, o veremos casos de estudios jurídicos detonados por errores en el manejo de agentes?
¿Estás pensando en armar un flujo con un agente y querés discutir cómo limitarle el alcance? Escribime a nododelta@gmail.com.
[…] y gratis, Spark es paga y vive dentro del jardín cerrado de Google. Y la discusión que dejé en Cuidado con los agentes sigue valiendo acá: un agente que actúa solo, en tu mail y tu Drive, es una herramienta poderosa […]