GJØVIK (digi.no): Digi.no skrev nylig om en undersøkelse av oppetiden til nettskytjenestene til tre av de største nettsky-leverandørene, Amazon, Microsoft og Google. Det var store variasjoner, fra knapt to til over 40 timer nedetid i året. Derfor er det litt hyggelig å kunne fortelle om en norsk nettskyleverandør som ikke hadde nedetid overhodet i fjor. Noen vil kanskje bli overrasket når vi forteller at det er Evry som eier og drifter denne løsningen. Dette skjer i selskapets fjellhall på Gjøvik. Derfor har digi.no tatt turen dit.
De fleste som kjenner til Evry, gjør dette fordi navnet til selskapet gjerne dukker i nyhetene når banktjenester slutter å fungere. Ingen ved Gjøvik fjellhall legger skjul på at et dårlig rykte er vanskelig å bli kvitt. Men Evry kan også vise til at situasjonen har blitt mye bedre. Mens selskapet hadde 161 kritiske driftshendelser knyttet til de store bankkundene i 2011, var dette blitt redusert til 36 i 2013 og 20 i 2014. Målet for 2015 er maksimalt 15 hendelser.
Baard Muhlbradt, som er Evrys direktør for Regional Operations på Innlandet, forteller dessuten at det er store forskjeller på banksystemene, som ofte har med seg mye historikk og som driftes på Skøyen i Oslo, og på de langt mer moderne løsningene som brukes i fjellhallen på Gjøvik.
Les også: Stor forskjell på nedetid i nettskyen
Skuddsikre vinduer
Ifølge Muhlbradt logger omtrent én million brukere seg på tjenester fra fjellhallen hver dag. I alt har Evry omtrent 1700 kunder som har applikasjoner eller private nettskyer i anlegget. Dette inkluderer blant annet flere utenlandske banker, hvorav noen er svært opptatt av sikkerhet. Muhlbradt forteller om en tysk sikkerhetssjef som blant annet forsikret seg om at vinduene i første etasje er skuddsikre – noe de da faktisk er.
– Hele nettskymarkedet har blitt veldig globalt. Det blir mer og mer hybride løsninger som man plukker fra, også fra andre land, sier Muhlbradt. Han legger til at mange kunder er opptatt av å plassere data på norsk jord, men at regelverket mykes opp i takt med teknologiutviklingen.
Evry er ifølge Muhlbradt tettere på kundene enn det de største amerikanske er, og selskapet tilbyr blant annet support i henhold til norsk lovverk.
Ekte nettsky
Muhlbradt er nøye med å påpeke at det han mener med public cloud er en selvbetjent tjeneste med nettbutikk og mye automatikk, helt tilsvarende det blant annet Amazon tilbyr. Stadig flere av selskapets kunder velger slike selvbetjente løsninger.
Men Evry Cloud Services tilbyr også private nettskyer, hvor blant annet prisene er avtalt på forhånd. Evry tilbyr for eksempel en privat nettskyløsning basert på Microsoft Azure Pack, som gjør det enkelt å flytte pre-produksjonsløsninger fra Microsofts egen nettsky og over til Gjøvik for produksjon.
Ifølge Muhlbradt er norske bedrifter langt framme når det gjelder å overlate IT-driften til andre. Mens omtrent 60 prosent av de norske bedriftene har outsourcet denne delen av virksomheten, er tilsvarende tall i Tyskland bare fire prosent.
Ny kunde
Digi.no var ikke de eneste som besøkte fjellhallen denne dagen. Det gjorde også Nasjonal Digital Læringsarena (NDLA), som er Evrys aller nyeste nettskykunde. NDLA ble sist omtalt av digi.no da det ble kjent at Christer Gundersen, tidligere Friprogsenteret, var blitt ansatt som teknisk leder. Det er dermed Gundersen som er ansvarlig for prosjektet med å få NDLA inn på Evrys systemer.
Les også: Nå har han fått ny jobb
NDLA handler om åpne, digitale læremidler. Det er det samarbeid mellom 18 av 19 fylkeskommuner som bygger på en virtuell organisasjon og deling av både innhold og teknologi med liberale lisenser. Innholdet består av læremidler til rundt 50 ulike fag i den videregående skolen.
Øivind Høines, daglig leder i NDLA, forteller til digi.no at prosjektets nettsted har omtrent 50 000 besøkende hver dag, av en målgruppe på rundt 200 000 – noe som er antallet elever i den videregående skolen.
– Vi så etter en leverandør som vi kunne vokse med og lære av, en samarbeidspartner som kan bygge det vi trenger på sikt, forteller Høines, og legger til at NDLA ser for seg ganske store endringer, blant annet fordi det er økende krav til digitale læremidler.
– Vi har valgt en nettskyløsning fordi vi trenger fleksibilitet og trygghet på en gang. Vi ønsker aktive elever som er med på å dele og skape. Men man kan få en bratt kurve dersom man får suksess. Dessuten er det mange hackere på videregående skole, og det er morsomt å lage et pek på siden som nesten alle bruker. Sikkerheten er derfor viktig, understreker Høines.
NDLA var i kontakt med flere leverandører før valget ble tatt.
Begrunnelsen
– Evry var best. De viste en bunnsolid kvalitet og kompetanse, og var veldig tillitsvekkende, sier Høines. Avtalen, som kun omfatter ren drift, er på fem millioner kroner over fire år.
Muhlbradt forteller at NDLA er blant de første kundene av Evry Cloud Services som har valgt en fullautomatisert plattform. Det er en privat nettsky, en infrastrukturtjeneste med blant annet virtuelle servere og lagring. I bunnen av løsningen brukes Citrix XenServer med CloudStack som orkestreringsplattform.
– Det er en framtidsrettet og dynamisk plattform. Det er mange som tenker på dette, men de færreste har våget å ta skrittet ennå. Vi har sett lenge at teknologien er moden, og nå kommer kundene etter. Dette blir mer standarden enn unntaket i framtiden, spår Muhlbradt.
NDLA er ikke den eneste undervisningsrelaterte kunden til Evry. Selskapet har blant annet en langsiktig kontrakt med Utdanningsdirektoratet om blant annet drift av eksamener. Dessuten tilbyr selskapet «disaster recovery» for Fronter.
Oppetiden da?
Alt dette er et godt utgangspunkt, men vi dro til Gjøvik for å høre hvordan Evry kunne levere 100 prosent oppetid i nettskyen i fjor, noe de store amerikanske altså ikke greide. Med 100 prosent oppetid mener Evry at det ikke var ikke-planlagt nedetid på plattform på grunn av fellesfeil. Ifølge Muhlbradt har det kun vært enkeltfeil hos enkeltkunder, eller feil forårsaket av tredjepart mot enkeltkunder – for eksempel i forbindelse med utrulling av ny kode. Hvordan det er mulig, forklares blant annet med hvordan anlegget er skrudd sammen, i tillegg til en robust driftsorganisasjon.
Selve anlegget
Fjellanlegget som Evry bruker, ble opprinnelig bygget i forbindelse med OL i 1994 av Telenor. I dag har Telenor to haller i det EMP-beskyttede anlegget, mens Evry har tre. Hver av hallene har tre etasjer. Anlegget ligger i tilknytning til arenaen Gjøvik Olympiske Fjellhall.
Den delen av anlegget som Evry bruker, er på 4700 kvadratmeter. Her har selskapet 8000 fysiske servere, i tillegg til 19 petabyte med data lagret i SAN-baserte lagringssystemer og mye mer i tape-basert backup. Normalt kjøres det 40 virtuelle servere per fysisk maskin. Til sammen trekker maskinene omtrent 20 gigawattimer per år.
Ifølge Teamleder Datacenter, Nils Terje Haavi i Evry, er fjellanlegget dyrere i drift enn frittstående anlegg, men til gjengjeld er det sikrere inne i fjellet. Anlegget er delt opp i mange sikkerhetssoner, og det er periodisk revisjon av adgangsbehovet ved hver sone. Tredjepartspersonell følges. Alle som skal inn i datahallene blir registrert og må skrive under en taushetserklæring. Det gjaldt også digi.no. Anlegget anses også som viktig i beredskapssammenheng, og blant annet Forsvaret øver jevnlig på vakthold og adgangskontroll ved anlegget.
Ideelt sett bør redundante datahaller være atskilt med langt mer enn 20 meter, men i dette tilfellet består de 20 meterne av massivt fjell. Hallene aksepteres derfor som atskilte anlegg. Ifølge Haavi er det en stor fordel med at hallene ligger såpass tett, nemlig at synkron speiling skjer på et øyeblikk.
Evry er i ferd med å bygge et stort anlegg på Fet i Akershus. Dette skjer sammen med Digiplex. I dette skal alle datasentrene til Evry konsolideres, bortsett fra dette på Gjøvik. De to datasentrene skal i framtiden fungere sammen og være backup for hverandre.
Hver av datahallene i fjellanlegget har separat, teknisk infrastruktur, og inn til anlegget er det en rekke tilførselslinjer for både strøm og kommunikasjon, fra helt forskjellige leverandører. I selve anlegget er det fem 2000 kWA transformatorer med tilhørende UPS-er.
Digi.no blir fortalt at anlegget for noen år siden var uten ekstern strøm i tre timer. Da hadde Evry ni dieselaggregater i drift. Ingen kunder ble berørt, men området rundt anlegget ble røyklagt.
Failover
All failover skjer automatisk, men ifølge Haavi er det ikke nok å ha løsningene. De må også virke når det blir behov for dem. Dieselaggregatene testes hver måned.
Haavi understreker viktigheten av gode regler for kabling, blant annet fordi kablingsfeil tidligere var en betydelig feilkilde for selskapet. I hallene brukes det ekstra brede rack med en klar A- og B-side for strøm. Det monteres ikke utstyr som ikke har støtte for to strømforsyninger. Alle kabler er fargekodet og har riktig lengde. Brukte kabler benyttes ikke om igjen og alle kablene går i skinner i taket – ikke i gulvet som i mange andre datarom.
Standardisering
– Vi har kjørt beinhardt på standardisering av utstyrt de siste ti årene, sier Haavi. Stort sett brukes det bare én servertype, og leverandøren har et utskutt lager i fjellanlegget. Evry faktureres først når de henter maskiner fra dette. Det skjer mye utskifting når man har 8000 servere med en levetid på omtrent fire år. Men ifølge Haavi skjer det egentlig lite maskinvarefeil. Stort sett dreier det seg da om harddisker som uansett brukes i redundante systemer. Evry bruker også termofotografering på kritiske områder for å kunne avdekke feil tidlig.
Hovedårsaken
Til tross for alt dette, er svaret på vårt innledende spørsmål om oppetiden at anlegget har mindre kompleksitet enn de store. Som eksempel nevner Muhlbradt at Evry lagrer dataene i et SAN, i stedet for å bruke distribuert lagring slik Microsoft gjør.
– De store har robustheten knyttet til programvare, og mindre grad i maskinvare. Alle datasentre går den veien, for å få ned kostnadene. Men det øker faren for angrep, sier Muhlbradt.
Det hjelper likevel kundene lite at Evry har failover-systemer som virker, dersom deres egne applikasjoner ikke takler overgangene. Derfor har i alle fall NDLA en kombinasjon av bruker-/programvarestyrt failover og plattformbasert failover.
