Inestabilidad causada por una falla de infraestructura en el centro de datos US-EAST (Newark)
Resuelto · Interrupción parcial · Inicio: 27 de julio de 2025 a las 8:30 · Resuelto: 29 de julio de 2025 a las 21:49
Actualizaciones
Resuelto · 29 de julio de 2025 a las 21:49
Post-mortem
Sobre lo ocurrido:
Las dificultades de acceso se debieron a una interrupción en parte de la infraestructura de nuestro proveedor de hosting en el centro de datos US-EAST (Newark-NY), por complicaciones en el sistema de refrigeración tras un corte de energía.
Puede seguir los detalles técnicos y toda la comunicación pública de nuestro proveedor sobre lo ocurrido aquí: https://status.linode.com/incidents/6yw88b0ft94g
Hecho relevante:
Este problema con este proveedor en particular afectó no solo los servicios de Cademí, sino también los de miles de otras empresas en todo el mundo que también confían en esta solución para parte de la infraestructura de sus servicios tecnológicos.
La falla sobrecargó en cascada los servicios de replicación y recuperación ante fallas, lo que a su vez comprometió también nuestros servidores de redundancia, con impacto no solo en Newark, sino también en los centros de datos de Fremont, Dallas, Washington, Tokio (Japón) y Sídney (Australia).
Acciones tomadas:
En paralelo a este incidente, después de 4 actualizaciones del proveedor y al entender que la situación podía escalar, nuestro equipo actuó con rapidez para reestructurar y activar el servicio de respaldo de la aplicación en otro proveedor de hosting y garantizar la continuidad de los servicios.
Por ello, en las próximas 24 horas, algunas funcionalidades de la plataforma pueden presentar pequeños ajustes de rendimiento mientras se completa la estabilización de las nuevas direcciones de red.
Datos e información:
Ninguna información o dato relevante de su proyecto se vio afectado o se perdió durante este período.
Transacciones:
Todas las compras realizadas en este intervalo se guardaron en una base de datos específica y se reprocesarán, lo que garantiza el acceso de sus alumnos.
Agradecemos una vez más su comprensión y reafirmamos que estamos a su disposición para apoyarles en lo que necesiten.
Nuestro equipo está monitoreando activamente todos los canales de soporte para cualquier aclaración.
Reiteramos nuestro compromiso con la seguridad, la transparencia y la mejora continua de nuestros sistemas.
Atentamente, Equipo de Soporte de Cademí
Resuelto · 29 de julio de 2025 a las 21:49
Todos los servicios se restablecieron. Seguimos monitoreando de cerca para garantizar la estabilidad continua de la plataforma. Si todavía tiene alguna dificultad, abra un ticket con nuestro equipo de Soporte. Estaremos listos para ayudarle.
Causa identificada · 28 de julio de 2025 a las 13:45
El servicio de imágenes, archivos adjuntos, emisión de certificados y cargas vuelve a estar 100% funcional.
Causa identificada · 28 de julio de 2025 a las 9:30
Identificamos una inestabilidad en el servicio de imágenes de la plataforma. Nuestro equipo está trabajando para normalizarlo de inmediato.
Causa identificada · 28 de julio de 2025 a las 6:45
Iniciamos el procesamiento de las compras almacenadas en contingencia durante el incidente. Los accesos se están liberando gradualmente, con validación completa de cada transacción.
Causa identificada · 28 de julio de 2025 a las 2:45
Completamos la reactivación de los servicios principales de la plataforma: colas de webhooks, envío de correos electrónicos, API y acceso al sistema. También normalizamos la carga de imágenes y archivos adjuntos.
Causa identificada · 27 de julio de 2025 a las 14:30
Estamos terminando de propagar los servicios esenciales en un entorno alternativo. La plataforma ya muestra señales de recuperación parcial y pronto publicaremos nuevas actualizaciones.
Causa identificada · 27 de julio de 2025 a las 11:15
Se confirmó que el impacto se extiende a otras regiones debido a la interdependencia de los servicios, y afecta también a los centros de datos de Dallas, Fremont, Washington, Sídney, Tokio y Toronto. Seguimos con los planes de contingencia y restauración.
Causa identificada · 27 de julio de 2025 a las 10:45
El proveedor de infraestructura confirmó que la falla se debió a un problema en el sistema de refrigeración del centro de datos tras un corte de energía. La energía ya se restableció, pero el impacto continúa. Ante la gravedad de la situación, nuestro equipo está iniciando la migración de la infraestructura crítica a otro entorno.
Causa identificada · 27 de julio de 2025 a las 8:30
Nuestro equipo activó una contingencia para almacenar de forma segura todas las notificaciones de ventas enviadas por las pasarelas de pago. Así garantizamos que no se pierda ninguna transacción: todas se reprocesarán más adelante, lo que asegura el acceso de los alumnos.
Investigando · 27 de julio de 2025 a las 8:30
Estamos investigando una inestabilidad generalizada que afecta nuestros servicios. El incidente se origina en una falla estructural en el centro de datos US-EAST (Newark), a cargo de nuestro proveedor de hosting. Seguimos monitoreando y actualizaremos en cuanto tengamos nueva información.