GitLab, platforma pro vývoj, dokumentaci kódu a spolupráci vývojářů čelí neočekávaným problémům. Nefunguje. Naštěstí jsou její správci nebývale otevření, takže přesně dokumentují, co se stalo, i jak to opravují.
Vše začalo včera pokusem o zahlcení, které GitLab dokázal vyřešit. Později večer se zahltila replikace databáze na db2, kterou opravy PostgreSQL nedokázaly vyřešit. db2 pořád vzdorovala.
Něco po jedenácté večer to zkusil jeden správce vyřešit promazáním složky pg_basebackup na serveru db2. Bohužel ji ale smazal na produkčním serveru db1. Než si překlep uvědomil a zastavil to, z 300 GB zbývalo jen 4,5 GB. Web tak museli zastavit.
Naštěstí ten samý správce spustil ruční zálohu šest hodin před tragickým smazáním. Ukázalo se totiž, že veškeré další automatické zálohy nefungovaly. Celkem měl GitLab nastaveno pět různých způsobů zálohování, ale kvůli různým verzím PostgreSQL, špatnému nastavení Azure, nebo dokonce nemožnosti najít pravidelné denní zálohy se prostě nic automatického nedá obnovit.
V důsledku tak GitLab přežije, přijde jen o šest hodin aktivity vývojářů. I to ale může často znamenat velké finanční škody. Příběh GitLabu ale potvrzuje staré známe pravidlo: zálohovat umí každý, obnovit data jen ti lepší. Stejně tak, že jeden překlep může zničit celou firmu a zálohovat se vyplatí i tehdy, když si myslíte, že to přece vše řeší automatika.
