I går kveld ved 20.30-tiden fikk Itslearning store driftsproblemer.
Den utbredte digitale læringsplattformen, som bare i Norge har over 900.000 lærere, elever og foreldre som brukere, gikk ned for telling.
«Akkurat når studentene skal levere sine besvarelser elektronisk, raser hele systemet ned og det står ingen forklaring på siden at systemet er nede» lyder en av flere frustrerte tilbakemeldinger på selskapets Facebook-sider.
Måtte fly inn komponenter fra Tyskland
Gjennom hele natten har et stort antall teknikere jobbet med å reparere lagringssystemet ved datasenteret selskapet benytter i Oslo. De hoster selv løsningen.
– Det er noe hardware-feil, rett og slett, og det tok relativt lang tid før vi fant ut av det. Vi måtte også fly nye deler inn fra Frankfurt i Tyskland, sier konsernsjef Arne Bergby til digi.no.
Han har vært i Bergensbedriften helt siden 2004 og sier at han aldri har opplevd en lignende feil.
Begge SAN røk samtidig
Itslearning har ifølge ham nå hele 7,5 millioner brukere fordelt på mange land rundt omkring i verden.
Utfallet i går kveld og gjennom natten har ifølge ham berørt opptil 1-2 millioner brukere i Norden.
Det som ikke skulle skje, skjedde. Itslearning har redundante lagringssystemer, men det oppsto maskinvarefeil på begge de speilede SAN-løsningene, slik Bergby forklarer utfallet.
– Vi har flere hostingssystemer. En av disse (der feilen oppsto) ligger i Oslo og håndterer de nordiske landene. Vi benytter også Amazon.com for Amerika og spesielt USA, samt et annet hostingsenter i Danmark.
Delene som røk var i et SAN (storage area network) levert av Dell Technologies.
– Først oppsto problemer med det ene SAN-et vårt. Når det andre skulle ta over så røk det også samtidig. Det har vist seg å være maskinvarefeil i begge SAN-løsningene.
Ikke helt friskmeldt ennå
Folk fra Dell, men også selskapets egne teknikere med ansvar for maskinvare både i Norge og USA har vært involvert i nattens redningsarbeid, opplyser Bergby.
– Det har vært veldig mange mennesker involvert.
Itslearning har ifølge ham så mange brukere at det er problematisk med nedetid selv om det skjer midt på natten, norsk tid.
– Midt på natten kan vi ha 10 - 15.000 norske brukere pålogget samtidig. Det er selvfølgelig forferdelig kjedelig for alle som blir berørt. Nå er situasjonen den at vi har tatt systemet opp igjen, men det er fortsatt ustabilitet. Jeg tror ikke brukerne vil oppleve det, men det kan skje.
Bergby forteller at de ikke er helt ferdige med å skifte ut komponentene som feilet ennå.
Han vil ikke klandre Dell, og vet strengt tatt heller ikke årsaken til maskinvaresvikten ennå, eller hvorfor begge systemene som skulle ha redundanse tok kvelden samtidig.
– Jeg vil ikke skylde på Dell. Vi vet for å være helt ærlig ikke nøyaktig årsak til feil, men vi vet at det er maskinvaren som sviktet.
– Hva skjer videre nå?
– Det første vi må gjøre er å finne årsaken. Det andre er å undersøke hvorfor begge løsningene våre ble rammet samtidig. Vi har jo redundanse. Det må vi se på. Vi må også se på tilgjengeligheten på komponentene. I dette tilfellet måtte dette flys inn fra Frankfurt. For oss er ikke dette godt nok. Det har gjort at dette tok lenger tid enn det burde. Vi må sette oss ned og gå gjennom rutinene. Vi skal også se på SLA-ene eller garantiene våre. Jeg skylder ikke på andre enn oss selv, men vi må gå gjennom tingene og sørge for at vi har kritiske komponenter raskere tilgjengelig enn i dag, sier Itslearning-sjefen.
