Ontem tivemos uma correção no envio de notificações de chat quando era enviado um anexo. Aconteceu de que todas as mensagens recebidas após qualquer anexo, travavam o serviço fazendo as mensagens ficarem pendentes. Através de nosso monitoramento identificamos este problema no dia de hoje (28/01) por volta das 09:10. Após a resolução do bug, aconteceu uma carga fora do comum em nosso banco de dados.
Esta carga fez com que o banco de dados ocupasse todo o I/O, gerando lentidão para todas as requisições subsequentes. Devido à nossa alta carga de trabalho acabou ocorrendo um efeito “cascata” de cargas, tivemos que administrar a carga ao longo do dia, o que infelizmente gerou muita instabilidade e lentidão em alguns momentos em nosso sistema.
Já haviamos previsto que algo do gênero poderia acontecer e estávamos trabalhando para que este dia não chegasse, infelizmente, este dia chegou antes de entregarmos o que evitaria isso.
Estamos muito chateados com a situação e entendemos que provavelmente nossos clientes também, mas em momento nenhum medimos esforços para conseguir entregar o nosso melhor.
Temos um pacote de entregas que gostaríamos de estar comemorando junto à nossos clientes hoje, porém, vamos focar em reestabelecer nossos serviços em 100% e fazer testes para garantir que amanhã estaremos a todo vapor ajudando nossos clientes a entregarem excelência.

Atenciosamente,
Fábio Miguel Mello
CTO