6 timer med data tapt for alltid: Gitlab-medarbeider tastet inn feil kommando og slettet 300 gigabyte med data fra serverne

Github-konkurrenten GitLab mistet tidligere denne uken store mengder data etter at en medarbeider i selskapet ved et uhell klarte å slette en mappe på feil server. Det skriver The Register. Gitlab brukes av utviklere til å lagre og dele kode, samt spore endringer i kode/versjonskontroll.

Det skal være snakk om så mye som 300 GB med data, og forsøk på å gjenopprette dataene fra sikkerhetskopier har ikke ført frem. Dermed er mye av dataene tapt for godt.

Artikkelen fortsetter etter annonsen

annonsørinnhold

Slik blir Moss IT-sentrum for smartere veier

Etter å ha vært nede i mange timer, kom tjenesten opp igjen onsdag kveld. 

Gitlab skriver i et blogginnlegg at selskapet har klart å gjenopprette data fra en seks timer gammel sikkerhetskopi.

«Det betyr at alle data mellom klokken 17:20 UTC og 23:25 UTC fra databasen (projects, issues, merge requests, users, comments, snippets, etc.) er gått tapt i det Gitlab.com igjen er live», skriver selskapet.

707 brukere har mistet data

Selskapets PR-avdeling melder ifølge The Register at under én prosent av kundene skal være berørt. Ifølge Gitlabs logg dreier det seg om totalt 707 brukere, som altså skal ha mistet data i det aktuelle tidsrommet.

Problemene startet med at Gitlab oppdaget at spammere overbelastet en database ved å opprette store mengder «snippets» (kodebiter) på kort tid. Dette gjorde databasen ustabil, og selskapet blokkerte spammerne basert på IP-adresse, i tillegg til å fjerne brukere.

Problemene ballet etter hvert på seg, og på et tidspunkt klarte medarbeideren i forbindelse med replikering av en database å peke til feil server da han skulle slette en katalog.

I loggen beskrives det hvordan medarbeideren etter et sekund eller to innser at han har prøvd å fjerne det han tror er en tom datakatalog fra serveren db1.cluster.gitlab.com, i stedet for db2.cluster.gitlab.com. Han forsøker å avbryte, men innser at det er for sent: kun 4,5 GB av totalt 310 GB er igjen.

Gitlab har gått ut og beklaget, og har sagt de vil komme tilbake med mer informasjon om hva som gikk galt senere – samt hva de kan gjøre for å unngå at lignende skjer igjen.

Du kan lese flere detaljer om hva som skjedde hos Gitlab.