Instabilidade causada por falha de infraestrutura no data center US-EAST (Newark)
Resolvido · Indisponibilidade parcial · Início: 27 de julho de 2025 às 08:30 · Resolvido: 29 de julho de 2025 às 21:49
Atualizações
Resolvido · 29 de julho de 2025 às 21:49
Post-mortem
Sobre o ocorrido:
A dificuldade de acesso foi causada por uma interrupção em parte da infraestrutura de nosso provedor de hosting no data center US-EAST \(Newark-NY\), devido a complicações no sistema de refrigeração após uma queda de energia.
Você pode acompanhar os detalhes técnicos e toda a comunicação pública do nosso fornecedor sobre o ocorrido por aqui: https://status.linode.com/incidents/6yw88b0ft94g
Fato Relevante:
Este problema envolvendo tal fornecedor em específico impactou não somente os serviços da Cademí, mas de milhares de outras empresas ao redor do mundo que também confiam nesta solução para compor parte da infraestrutura dos serviços tecnológicos ofertados por elas.
A falha mencionada sobrecarregou em cascata os serviços de replicação / recuperação de falhas que, por sua vez, comprometeu também nossos servidores de redundância, impactando não só Newark, mas também os datacenters de Fremont, Dallas, Washington, Tokyo \(Japão\) e Sydney \(Austrália\).
Ações tomadas:
Em paralelo a este incidente, após 4 atualizações do fornecedor e entendido que tal situação poderia escalar, nosso time atuou prontamente e ativamente em reestruturar e ativar o serviço de backup da aplicação em outro serviço de hosting para garantir a continuidade dos serviços.
Por conta disso, nas próximas 24 horas, algumas funcionalidades da plataforma podem apresentar pequenos ajustes de performance enquanto ocorre a estabilização completa dos novos endereçamentos na rede.
Dados e informações:
Nenhuma informação ou dado relevante do seu projeto foi afetado ou perdido durante esse período.
Transações:
Todas as compras realizadas nesse intervalo foram salvas em um banco de dados específico e serão reprocessadas, garantindo o acesso dos seus alunos.
Agradecemos mais uma vez pela compreensão e reforçamos que estamos à disposição para apoiá-los no que for necessário.
Nossa equipe está monitorando ativamente todos os canais de suporte para qualquer esclarecimento.
Reiteramos nosso compromisso com a segurança, transparência e melhoria contínua de nossos sistemas.
Atenciosamente, Equipe de Suporte Cademí
Resolvido · 29 de julho de 2025 às 21:49
Todos os serviços foram restabelecidos. Seguimos monitorando de perto para garantir a estabilidade contínua da plataforma. Caso você ainda esteja enfrentando qualquer dificuldade, por favor, abra um chamado com nosso time de Suporte — estaremos prontos para ajudar.
Causa identificada · 28 de julho de 2025 às 13:45
O serviço de imagens, anexos, emissão de certificados e uploads está novamente 100% funcional.
Causa identificada · 28 de julho de 2025 às 09:30
Identificamos uma instabilidade no serviço de imagens da plataforma. Nossa equipe está atuando para normalização imediata.
Causa identificada · 28 de julho de 2025 às 06:45
Iniciamos o processamento das compras armazenadas em contingência durante o incidente. Os acessos estão sendo liberados gradualmente, com validação completa para cada transação.
Causa identificada · 28 de julho de 2025 às 02:45
Concluímos a reativação completa dos serviços principais da plataforma: filas de webhooks, envio de e-mails, API e acesso ao sistema. Também normalizamos o carregamento de imagens e anexos.
Causa identificada · 27 de julho de 2025 às 14:30
Estamos finalizando a propagação dos serviços essenciais em ambiente alternativo. A plataforma já apresenta sinais de recuperação parcial, e novas atualizações serão publicadas em breve.
Causa identificada · 27 de julho de 2025 às 11:15
Foi confirmado que o impacto se estende a outras regiões devido à interdependência dos serviços, afetando também os data centers de Dallas, Fremont, Washington, Sydney, Tokyo e Toronto. Seguimos com os planos de contingência e restauração.
Causa identificada · 27 de julho de 2025 às 10:45
O provedor de infraestrutura confirmou que a falha foi causada por um problema no sistema de refrigeração do data center após uma queda de energia. A energia já foi restabelecida, mas os impactos continuam. Diante da gravidade da situação, nossa equipe está iniciando a migração da infraestrutura crítica para outro ambiente.
Causa identificada · 27 de julho de 2025 às 08:30
Nosso time ativou uma contingência para armazenar de forma segura todas as notificações de vendas enviadas pelos gateways de pagamento. Com isso, conseguimos garantir que nenhuma transação seja perdida — todas serão reprocessadas posteriormente, assegurando o acesso dos alunos.
Investigando · 27 de julho de 2025 às 08:30
Estamos investigando uma instabilidade generalizada que está afetando nossos serviços. O incidente tem origem em uma falha estrutural no data center US-EAST (Newark), de responsabilidade do nosso provedor de hosting. Seguimos monitorando e atualizaremos assim que tivermos novas informações.