GitLab omylem smazal databázi, automatické zálohy nefungovaly

GitLab omylem smazal databázi, automatické zálohy nefungovaly

GitLab, platforma pro vývoj, dokumentaci kódu a spolupráci vývojářů čelí neočekávaným problémům. Nefunguje. Naštěstí jsou její správci nebývale otevření, takže přesně dokumentují, co se stalo, i jak to opravují.

Vše začalo včera pokusem o zahlcení, které GitLab dokázal vyřešit. Později večer se zahltila replikace databáze na db2, kterou opravy PostgreSQL nedokázaly vyřešit. db2 pořád vzdorovala.

Něco po jedenácté večer to zkusil jeden správce vyřešit promazáním složky pg_basebackup na serveru db2. Bohužel ji ale smazal na produkčním serveru db1. Než si překlep uvědomil a zastavil to, z 300 GB zbývalo jen 4,5 GB. Web tak museli zastavit.

Klepněte pro větší obrázek
Klepněte pro větší obrázek

Naštěstí ten samý správce spustil ruční zálohu šest hodin před tragickým smazáním. Ukázalo se totiž, že veškeré další automatické zálohy nefungovaly. Celkem měl GitLab nastaveno pět různých způsobů zálohování, ale kvůli různým verzím PostgreSQL, špatnému nastavení Azure, nebo dokonce nemožnosti najít pravidelné denní zálohy se prostě nic automatického nedá obnovit.

V důsledku tak GitLab přežije, přijde jen o šest hodin aktivity vývojářů. I to ale může často znamenat velké finanční škody. Příběh GitLabu ale potvrzuje staré známe pravidlo: zálohovat umí každý, obnovit data jen ti lepší. Stejně tak, že jeden překlep může zničit celou firmu a zálohovat se vyplatí i tehdy, když si myslíte, že to přece vše řeší automatika.

Témata článku: Software, Programování, Bezpečnost, Záloha, Replikace, Omyl, Pravidla, Automatika

Určitě si přečtěte

Tesla chce změnit nákladní dopravu. Její elektrický náklaďák má ohromující parametry

Tesla chce změnit nákladní dopravu. Její elektrický náklaďák má ohromující parametry

** Tesla představila elektrický kamion ** Má obdivuhodný výkon i dojezd ** Prodávat by se měl už za dva roky

17.  11.  2017 | Vojtěch Malý | 226

Nejlepší notebooky do 10 tisíc, které si teď můžete koupit

Nejlepší notebooky do 10 tisíc, které si teď můžete koupit

** I pod hranicí desíti tisíc korun existují dobře použitelné notebooky ** Mohou plnit roli pracovního stroje i zařízení pro zábavu ** Nejlevnější použitelný notebook koupíte za pět a půl tisíce

16.  11.  2017 | Stanislav Janů | 53

Do 20 let nebude nikdo vlastnit auta, říká zkušený šéf několika automobilek

Do 20 let nebude nikdo vlastnit auta, říká zkušený šéf několika automobilek

** Bývalý šéf a expert z několika velkých automobilek se vyjádřil k budoucnosti tohoto průmyslu ** Do 20 let „nikdo“ nebude vlastnit auta ** Veškerá doprava bude řešená pomocí velkých logistických platforem

15.  11.  2017 | Karel Javůrek | 74


Aktuální číslo časopisu Computer

Otestovali jsme 5 HDR 4K televizorů

Jak natáčet video zrcadlovkou

Vytvořte si chytrou domácnost

Radíme s koupí počítačového zdroje