100 petabyte med data

Detektorene sender altså en kontinuerlig datastrøm som varierer mellom et par hundre og to tusen megabyte i sekundet, inn til datasenteret. På årlig basis resulterer det i rundt 25 petabyte med data, skjønt i 2012 leverte eksperimentene hele 30 petabyte. Hadde du brent det hele ut på CD-er og stablet dem i høyden, ville platene ha strukket seg hele 20 kilometer i høyden.

I datasenteret på Cern ligger det nå totalt 100 petabyte – drøyt 100 millioner gigabyte – med data lagret.

Dette er hovedbasen til alle LHC-dataene, men disse 100 petabytene er også distribuert ut til de 11 Tier-1-sentrene rundt om i verden, som så flytter de forespurte dataene ut til Tier-2 for analyse. Rundt om i Cerns Grid kan det pågå over en million slike jobber hver eneste dag.

I datasenterets kjelleretasje finner vi maskinene som holder på alle disse dataene. Selv om de mest aktive og interessante dataene er lagret på harddisker, ligger majoriteten på databånd. Det er en kostnadseffektiv løsning, og hvert bånd holder gjerne fire terabyte. Disse båndene er som store kassetter, og står tett i tett inne i enorme lagringsroboter. Inni disse robotene flyr robotarmer frem og tilbake for å flytte på databåndene for avlesing og lagring. Det er en høyst mekanisk prosess, men responstiden er faktisk bare på noen sekunder.

Likevel, å ha slike enorme datamengder tilgjengelig gjør lite nytte hvis de ikke kan brukes til noe fornuftig. For at alle forskerne over hele verden skal få tilgang på disse filene har Cern tatt i bruk et filsystem som heter Castor.

– Castor-filsystemet er tilgjengelig for alle Grid-systemene. I Grid-en er det slik at en bruker fra for eksempel Atlas-eksperimentet logger seg på og blir en del av Atlas' virtuelle organisasjon. Alle regnesentrene som er med i Atlas med tilgjengelig regnekapasitet er da tilgjengelig for ham til å jobbe på, og alle disse sentrene har da tilgang til dette filsystemet. Selve filsystemet ligger på Cern, men enkelte deler av det er replisert ut til de andre sentrene. Vi har et sentralt system her, så kopierer vi data til Tier-1-sentrene, forteller Høimyr.

CERN har et stort arsenal av enorme lagringsroboter, som denne.

– Det er ofte gunstigere for en som kjører analyse på Universitetet i Chicago å hente kopien fra Fermilab i Illinois, eller noen som er i Oslo å hente fra Nordic Grid Facility, som er en kombinasjon av København, Oslo, Stockholm og Helsinki, men det kommer an på, sier han.

Selv om det kan være hensiktsmessig å hente data fra det nærmeste Tier-1-senteret, er ikke forskerne låst til å gjøre det:

– Det er bare å gjøre et kall i programvaren om å hente ting her fra Cern, så kommer det til brukeren. Fremfor en HTTP-referanse så bruker vi castor.cern.ch, etterfulgt av filkatalogen, forteller Høimyr.

Datasenteret som kunne vært i Norge

Selv om Tier-0-senteret vi nå befinner oss i er selve kjernen av Grid-systemet, er det ikke det eneste Tier-0-senteret. I skrivende stund blir en ny regnepark med samme oppgave bygget hos Wigner forskningssenter for fysikk i Budapest, Ungarn. Dette senteret fungerer som en ren utvidelse av datasenteret i Genève, selv om det ligger i et helt annet land.

Dette datasenteret kunne like gjerne ha ligget i Norge – og det lå lenge an til å faktisk gjøre det. Cern ville nemlig først bygge Tier-0-senteret på norsk jord, og sendte et brev til norske myndigheter tilbake i 2010, men fikk aldri svar. Når norsk myndigheter ikke gadd å svare, ble det eksterne datasenteret lagt ut på en offentlig anbudsrunde. Tross flere teknisk sett meget gode tilbud fra private aktører i Norge, var det Ungarn som stakk av med seieren. Ungarerne stilte opp på regjeringsnivå, med støtte til en utvidelse av Wigner-senteret i Budapest. Hadde norske myndigheter sponset et fibernett fra Oslo til datasentere i disktriktene, hadde det vært gode sjanser for at senteret havnet i Norge.

– Regnesenteret i Ungarn er et senter med veldig høy overføringshastighet hit. Selv om vi har maskiner både her på Cern og i Ungarn, skal det for brukeren se ut som det er på samme sted. Vi har da regnesenteret her, som er vårt trinn 0-senter, så har vi et ekstra trinn 0-senter som er i Ungarn, sier Høimyr.

Ungarn-senteret har en kapasitet på 2,5 megawatt, noe som gir rom for å ha 7000 flerkjerneservere på plass der. Dette gir Cern ekstra regnekraft, men samtidig også en redundans i systemet.

– Med senteret i Ungarn har vi et regnesenter som er under vår kontroll. Selv om det er folk i Ungarn som drifter regnesenteret og installerer fysiske servere, kan vi sette opp virtuelle maskiner og overføre kapasitet til maskiner i Ungarn herfra. Det er helt transparent fra oss, sier Høimyr.

– Vi er i ferd med å gå over fra ett system som heter Quattor, som ble utviklet i forbindelse med Grid-prosjektene, til å kunne konfigurere tusenvis av maskiner samtidig. Vi bruker noe som heter Openstack, og nå installerer vi det som kalles hypervisorer. Denne nettskyteknologien gir oss servere som kjører mange virtuelle maskiner, så kan vi starte opp så mange virtuelle maskiner vi vil, forteller han

Takket være to uhyre raske, dedikerte fiberlinjer, vil serverne som står plassert i datasenteret i Ungarn nemlig oppføre seg som om de stod plassert vegg i vegg med Cerns eksisterende datasenter. Disse linjene er to dedikerte 100 Gbit/s-fiberlinker som går fra Cern til Budapest. Hver linje er uavhengig, så om en av dem ryker har Cern fortsatt én fungerende høykapasitetslinje. Den ene fiberlinjen er leiet av den private tilbyderen T-Systems, mens den andre er levert av Dante, som styrer forskningsnettverket Géant – et spesielt nettverk som er bygget på kryss og tvers av Europa for transport av forskning- og universitetsdata.

Kraftig infrastruktur

Géant er et samarbeid mellom en rekke europeiske aktører, og består av rundt 50.000 kilometer høykapasitets-fibernett rundt om kring i Europa, og i år fikk de også på plass den første 100 Gbit/s-linken over Atlanterhavet. 40 land er nå koblet på, og samler omtrent 8000 institusjoner innen forskning, medisin og mye mer. Kjernenettet har en kapasitet på 500 Gbit/s, og store deler av det totale nettet har en kapasitet på 100 Gbit/s.

Én av mulighetene som Géant tilbyr, er at man kan lage egne «private» nettverk med en garanti om hvor mye kapasitet man til en hver tid vil ha til rådighet. Akkurat det har Cern gjort for å knytte hoveddatasenteret i Sveits sammen med de 11 Tier-1-sentrene.

– Trafikken går via dedikerte forskningsnett. Vi har Géant, og andre nasjonale linjer der høyenergifysikkmiljøet har garantert kapasitet. Vi kaller det LHC Optical Network, (LHCOPN), hvor vi og Tier-1 sentrene har kontroll over trafikken, forteller Høimyr.

– Derfor har vi 10 Gbit/s til disse Tier-1-sentrene.

Sanntidsoversikt av overføringene i Grid-systemet. Norge er dessverre ikke med på dette kartet, da vi er koblet på Nordic Grid Facility – en samling av de skandinaviske landene som ikke er inkludert. — Sanntidsoversikt av overføringene i Grid-systemet. Norge er dessverre ikke med på dette kartet, da CERN kjører Grid-varianten «Nordugrid» i de skandinaviske landene som ikke er inkludert i denne visualiseringen.

Cern tar altså i bruk Géant sin fiber, men det er OP1 som er selve nettverket som knytter Tier-0-senteret til alle Tier-1-sentrene. For distribusjonen av data ut til alle Tier-2-sentrene tar man i bruk tradisjonelle forsknings- og universitetsnett.

I Tier-0-senteret vi besøker i Genève kommer disse 10 Gbit/s-koblingene inn i egne store serverskap, som i likhet med prosesseringsserverne står i egne plasthus for å spare på den kalde luften. Her er også kommersielle nettverkstilbydere koblet på.

Bli med over på siste side, så skal du få se serverutstyret Cern tar i bruk »

Slik håndterer man 100 millioner gigabyte data

Se datasenteret som jobber med verden største fysikkeksperiment.