I juni 2007 kunne digi.no melde at et gjennombrudd innen svitsjing ville gjøre det mulig for Sun å framstille en supermaskin på høyde med IBMs kraftigste.
Les også:
- [15.04.2011] Bygger nordisk superdatamaskin
- [30.03.2010] CERN klar til petabyte-fangst
- [16.11.2009] IBM tapte supertronen til Cray og AMD
- [09.09.2009] USIT valgte norsk til ny supermaskin
- [26.06.2007] Sun utfordrer IBM innen superdata
Gjennombruddet som det var snakk om innen svitsjing, var en oppfinnelse gjort i Norge.
Siden mai 2000, da Sun kjøpte virksomheten til Dolphin Interconnect Solutions, har Sun hatt en utviklingsavdeling på Skullerud utenfor Oslo. Opprinnelsen til dette miljøet er salige Norsk Data.
Teknologien er nedfelt i Infiniband-svitsjen Sun Constellation Magnum 3456. Dette er verdens største Infiniband-svitsj i vanlig salg. Tallet 3456 er antall porter som det er mulig å ha på svitsjen, og innebærer at det trengs bare én svitsj før å bygge en superdatamaskin med 3456 noder, der det alltid er mulig for to noder å opprette en direkte forbindelse til hverandre. En node kan være en industristandard server med doble firekjernede AMD- eller Intel-prosessorer. Hver forbindelse kan nå opp til 20 gigabit per sekund, og den samlede maksimale gjennomstrømmingen er 110 terabit per sekund. Forsinkelsen er nede i 700 nanosekunder.
– Infiniband er en standard fra 2000, forklarer Ola Tørudbakken fra Sun på Skullerud, en av opphavsmennene til Constellation. – Constellation tilbyr RDMA, «remote direct memory access». Det innebærer at man flytter data fra en node til en annen uten å belaste CPU-en. Det frigjør CPU til å gjøre det CPU-en egentlig skal gjøre.
Tørudbakken sier at man kan bygge tungregneanlegg med Ethernet som alternativ til Infiniband.
– Ulempen er at meldingsformidlingen går mye tregere. Mens Infiniband har maks forsinkelse på rundt ett mikrosekund, ganger Ethernet dette fra 20 til 30 ganger.
Svitsjen utgjør hjertet i superdatamaskinen «Ranger» ved Texas Advanced Computing Center. Ranger kom på fjerde plass på Top500-listen allerede ett år etter lanseringen av Constellation 3456. (Se Top500.org.)
På den nyeste Top500-listen er Ranger fortsatt verdens sjette kraftigste, den kraftigste av alle som er bygget opp uten skreddersydde løsninger, men bare med industristandard prosessorer og en kommersiell svitsj basert på en industristandard.
Ranger er bygget opp rundt Suns bladserver x6420, og omfatter 15 744 firekjernede AMD Opteron-prosessorer. Den kjøres under Linux, og er utstyrt med 123 terabyte minne og 1,7 petabyte disk. Ytelsen var på over 433 teraflops da Top500-listen ble publisert, men har nå økt til 507 teraflops.
I mars innviet Universitet i Oslo, ved Usits gruppe for vitenskapelig databehandling (Universitetets senter for informasjonsteknologi) en lillebror av Ranger, døpt Titan. Titan er bygget opp av Sun-servere, fordelt på rack- og bladmodeller, med firekjernede AMD-prosessorer, til sammen 570 noder og over 4000 kjerner. Det er 8 terabyte minne, og over 1 petabyte rå disklagring.
Kjernen i Titan er den samme Constellation 3456-svitsjen som i Ranger: Med 570 noder i dag er det ikke svitsjen som setter grenser for hvor mye Titan kan utbygges, men heller Usits fysiske lokaler, forteller Hans A. Eide ved Usit.
Systemvaren i Titan er Linux-varianten Rocks OS, Sun Grid Engine, og den norske meldingsformidleren ScaMPI (for «Scali message passing interface»).
– Titan er byttet med tanke på allsidighet, det vil si som en «general purpose» klynge og ikke med for eksempel seismikk andre spesialoppgaver for øye, sier Eide.
Titan vil spille en sentral rolle i norsk klimaforskning framover. Det bearbeider også data fra det store europeiske sentre for kjernefysikkforskning, Cern. Disse dataene går rett inn i maskinen over en egen kopling.
– Den teoretiske ytelsen på Titan i dag, er 60 teraflops. IT-direktøren har bebudet at systemet skal være på petaflopsnivå til universitetets 200-årsjubileum i 2011. Det kan bli hardt. Arealene våre er allerede for små, og for å skalere Titan til en petaflops må maskinen gjøres 20 ganger så stor som den er i dag.
En del av økningen kan komme, ikke ved å øke gulvarealet og antall noder, men ved å bruke kraftigere prosessorer.
– Akkurat nå er det Intel som virker mest lovende i forhold til prosessorytelse. Nehalem-arkitekturen har nå spist fordelen AMD hadde, blant annet ved å doble båndbredden til minne.
Praktiske avveininger får Eide til å sette en øvre grense på antall rack for å nå en petaflops.
– Vi må greie det med rundt 20 racks. Skulle vi gjort det i dag, ville vi trengt 30 rack, alle fullt ut utnyttet og pakket med 96 noder. Kjølebehovet kommer da opp i 20 til 30 kilowatt per rack. Da setter man på varmevekslere, slik at luften man blåser inn i datarommet er kald. Det betyr at vi vil kunne være en vesentlig bidragsyter til Oslos fjernvarmeanlegg.
Eide peker på at energi spiller en stadig større rolle i utbyggingen av store datasentraler og tungregneanlegg.
– Prisene på selve regneenhetene faller jo: I fjor måtte man ut med 30 til 40 millioner dollar for en halv petaflops. Innen to til tre år vil man kunne få opp til halvannen petaflops til samme pris. Selve strømforbruket vokser til å bli en stor utfordring. For Norge burde dette være interessant: Kraften vi kan tilby er både grønn og billig. Vi burde tenke på å markedsføre dette overfor dem som trenger mye datakraft.
Eide mener nærhet til kraftkilder og mulighet for å gjenvinne varme er to nøkkelfaktorer for den videre utviklingen av datasentraler og tungregneanlegg.
Les også:
- [15.04.2011] Bygger nordisk superdatamaskin
- [30.03.2010] CERN klar til petabyte-fangst
- [16.11.2009] IBM tapte supertronen til Cray og AMD
- [09.09.2009] USIT valgte norsk til ny supermaskin
- [26.06.2007] Sun utfordrer IBM innen superdata
