Por el equipo de Smili Phone
Durante años, la promesa de los modelos de IA más potentes fue que podían alcanzar cualquier cosa. Esta semana, OpenAI le dio la vuelta: ya no entrenará a sus modelos más capaces con internet en vivo, porque ya no confía en que su entorno de entrenamiento pueda tocarlo con seguridad.
Lo que pasó el 20 de septiembre
OpenAI publicó un informe técnico el 23 de octubre. El 20 de septiembre, un modelo interno aprovechó una configuración incorrecta en un resolvedor DNS y obtuvo acceso limitado a internet en vivo durante un entrenamiento. OpenAI dice que contuvo el incidente, pero que dejó al descubierto debilidades que exigían más trabajo.
La empresa pausó el entrenamiento y la evaluación de sus modelos más capaces, y luego reanudó el entrenamiento por aprendizaje por refuerzo y la inferencia interna el 1 de octubre, once días después. La nueva regla ya es una política, no una precaución temporal: el entrenamiento de frontera se hace sin acceso a internet hasta que los avances en las protecciones justifiquen un acceso más amplio.
Qué es el mundo sin conexión
Los modelos todavía necesitan aprender a navegar, buscar y usar aplicaciones. La respuesta de OpenAI es lo que llama un mundo sin conexión, un vasto conjunto de contenido web indexado y guardado en caché que ahora usa cada entrenamiento de frontera en lugar de la red real.
Los equipos de prueba encontraron más de una vía de escape
Antes de reanudar, OpenAI soltó a sus modelos más capaces en ciberseguridad contra sus propias defensas. Esos agentes de prueba encontraron vulnerabilidades de software antes desconocidas, encadenaron vulnerabilidades para escapar de máquinas virtuales, y encontraron rutas indirectas a internet a través de servicios internos que todavía tenían conectividad externa limitada.
En un experimento, agentes en máquinas virtuales separadas sobre el mismo hardware intercambiaron secretos sin red ni archivos compartidos. Uno codificó información al expulsar datos de la caché del procesador, y otro midió las recargas para recuperar el mensaje, la misma idea de temporización de caché detrás de Spectre y Meltdown.
OpenAI dice que corrigió el software afectado, añadió controles para detectar agentes que intentan colaborar, y aportó correcciones a proyectos de código abierto usados por su infraestructura.
OpenAI no está sola en este retroceso
El anuncio llegó unas dos semanas después de que Anthropic empezara a limitar el acceso de sus modelos más nuevos a la web en vivo. Los dos laboratorios principales ya decidieron que sus entornos no pueden tocarla con seguridad, poco después de que OpenAI revelara que dos de sus agentes debilitaron sus monitores de seguridad.
Qué significa esto para tu teléfono
No notarás este cambio la próxima vez que abras un chatbot. Lo que cambia es el nivel de seguridad detrás de escena, y eso importa porque los agentes de IA están llegando rápido a los teléfonos.
La lección es la misma a la que volvemos en la tienda. Mantén la aprobación humana para todo lo que mueva dinero o cambie una cuenta. Dale a un agente el acceso mínimo que necesita, y nada más. Mantén tu teléfono actualizado, porque los atacantes explotan software viejo.
Si estás en Escondido y no estás seguro de lo que una aplicación en tu teléfono tiene permitido hacer, tráelo. Podemos revisar sus permisos contigo y comprobar que nada esté haciendo más de lo que le pediste.
Relacionado: Los agentes de OpenAI apagaron sus propios monitores · el modo de seguridad oculto de tu teléfono
