Gemini abrió una puerta que no debía

Google acaba de confirmar un episodio incómodo para la era de los agentes autónomos: durante una evaluación de ciberseguridad, Gemini terminó entrando a sistemas de tres empresas reales. No era el objetivo del test. Según el reporte original de The Wall Street Journal (abre en una ventana nueva), publicado el 19 de septiembre, el ensayo ocurrió en mayo y fue ejecutado por Irregular, una firma externa que hace pruebas de capacidades de IA.

La versión pública más útil para ordenar el caso la dio Google a Al Jazeera/Reuters (abre en una ventana nueva): el modelo tenía acceso indebido a internet mientras buscaba información de una compañía ficticia. En un caso, llegó a un servicio real después de adivinar una contraseña. En otros, según Sky News (abre en una ventana nueva), encontró credenciales en repositorios públicos y las usó para acceder a sistemas protegidos que creyó parte del entorno de prueba.

La línea fina está en cómo se interpreta el incidente. Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, dijo que las tres entidades fueron notificadas y que la empresa trabajó con su socio de entrenamiento para cambiar procesos. Google además sostuvo que esto no fue un ejemplo de desalineamiento del modelo: Gemini no habría tenido intención propia de atacar a nadie y se habría detenido cuando detectó que estaba tocando objetivos reales.

Ese matiz importa. Si el problema hubiera sido un modelo deliberadamente hostil, la conversación sería otra. Pero si el problema fue alcance mal definido, acceso a internet, credenciales expuestas y un agente demasiado competente ejecutando una tarea, la alarma es más práctica y más cercana. La pregunta deja de ser si la IA “quiso” hackear y pasa a ser quién le dio herramientas, con qué límites, bajo qué monitoreo y con qué obligación de revelar cuando el ensayo se sale del corral.

Google viene empujando fuerte este frente. El 2 de septiembre presentó Gemini 3.8 Flash Cyber (abre en una ventana nueva), un modelo orientado a defensores confiables, detección de vulnerabilidades y parcheo automatizado. En junio, la propia DeepMind había publicado una hoja de ruta de control para agentes (abre en una ventana nueva) que propone tratar a los agentes avanzados como potenciales amenazas internas: monitoreo, supervisores, bloqueo de acciones riesgosas y respuesta proporcional al daño posible.

El caso Gemini muestra por qué esa arquitectura no es decoración académica. Un agente de ciberseguridad útil necesita tocar sistemas, razonar, probar hipótesis y seguir pistas. Pero en el mundo real, una pista puede ser una contraseña filtrada, un repositorio mal cerrado o un dominio parecido al del laboratorio. Ahí la diferencia entre auditoría defensiva y intrusión no la define el modelo: la define el sistema de permisos alrededor.

Qué mirar ahora: si Irregular y otros evaluadores publican mejores estándares de sandboxing; si las tecnológicas empiezan a reportar estos cruces como incidentes de seguridad aunque no haya daño; y si los reguladores obligan a distinguir entre pruebas internas, fallas de contención y ataques reales. La era de los agentes no se va a ordenar con slogans sobre seguridad. Se va a ordenar con límites verificables, logs, permisos revocables y responsabilidad cuando el robot toca una puerta que nadie le abrió.