GitLab omylem smazal databázi, automatické zálohy nefungovaly

GitLab omylem smazal databázi, automatické zálohy nefungovaly

GitLab, platforma pro vývoj, dokumentaci kódu a spolupráci vývojářů čelí neočekávaným problémům. Nefunguje. Naštěstí jsou její správci nebývale otevření, takže přesně dokumentují, co se stalo, i jak to opravují.

Vše začalo včera pokusem o zahlcení, které GitLab dokázal vyřešit. Později večer se zahltila replikace databáze na db2, kterou opravy PostgreSQL nedokázaly vyřešit. db2 pořád vzdorovala.

Něco po jedenácté večer to zkusil jeden správce vyřešit promazáním složky pg_basebackup na serveru db2. Bohužel ji ale smazal na produkčním serveru db1. Než si překlep uvědomil a zastavil to, z 300 GB zbývalo jen 4,5 GB. Web tak museli zastavit.

Klepněte pro větší obrázek
Klepněte pro větší obrázek

Naštěstí ten samý správce spustil ruční zálohu šest hodin před tragickým smazáním. Ukázalo se totiž, že veškeré další automatické zálohy nefungovaly. Celkem měl GitLab nastaveno pět různých způsobů zálohování, ale kvůli různým verzím PostgreSQL, špatnému nastavení Azure, nebo dokonce nemožnosti najít pravidelné denní zálohy se prostě nic automatického nedá obnovit.

V důsledku tak GitLab přežije, přijde jen o šest hodin aktivity vývojářů. I to ale může často znamenat velké finanční škody. Příběh GitLabu ale potvrzuje staré známe pravidlo: zálohovat umí každý, obnovit data jen ti lepší. Stejně tak, že jeden překlep může zničit celou firmu a zálohovat se vyplatí i tehdy, když si myslíte, že to přece vše řeší automatika.

Témata článku: Software, Programování, Bezpečnost

25 komentářů

Nejnovější komentáře

  • moralni rozmer 2. 2. 2017 13:50:19
    HAHAHA HAHA HA dobre jim tak :-D
  • Ellendway 2. 2. 2017 13:24:39
    Zase titulek jak zmrd. Čekal jsem vymazání úplně všeho, mrtvou platformu,...
  • maxxim07 2. 2. 2017 12:34:21
    Je potřeba rozlišit jaké uživatelské data se smazaly. V žádném případě...
Určitě si přečtěte

11 tipů, jak efektivně a přesně sledovat počasí pomocí internetu

11 tipů, jak efektivně a přesně sledovat počasí pomocí internetu

** Sledujte počasí z více zdrojů a podrobněji, přesněji tak určíte, jaké počasí vás potká na dovolené ** Na webu najdete hromadu pokročilých předpovědí počasí, ale i specializované meteorologické služby ** Vybrali jsme 14 služeb na počasí, které se vám můžou hodit

23.  6.  2017 | Jakub Čížek | 19

Jak rozšířit signál Wi-Fi: Extender je nejlevnější a snadná cesta

Jak rozšířit signál Wi-Fi: Extender je nejlevnější a snadná cesta

** Wi-Fi extendery dobře poslouží k rozšíření signálu ** Jsou to malé krabičky do zásuvky s triviálním nastavením ** Zvolte raději výkonnější modely, svůj účel splní lépe

Dnes | David Polesný | 18

Nejlepší program pro střih videa na doma: 9 video editorů, ze kterých si vyberete

Nejlepší program pro střih videa na doma: 9 video editorů, ze kterých si vyberete

** Pokročilé střihové programy pro neprofesionální využití stojí do 3 000 Kč, jsou ale i zdarma ** Podpora 4K, hromada editačních funkcí a efektové filtry jsou samozřejmostí ** Vybrali jsme 9 nejzajímavějších programů pro nejrozšířenější operační systém Windows

25.  6.  2017 | Stanislav Janů | 34


Aktuální číslo časopisu Computer

Bojujeme proti Fake News

Dva velké testy: fotoaparáty a NASy

Co musíte vědět o změně evropského roamingu

Radíme s výběrem základní desky