TRONDHEIM (digi.no): I juni i fjor kunngjorde NTNU at universitet skulle gå til innkjøp av en ny superdatamaskin i samarbeide med met.no. Allerede da var det bestemt at maskinen skulle hete «Vilje», oppkalt etter én av Odins brødre. Maskinen er levert at SGI og ble installert i vår. I juniutgaven av Top 500 Supercomputing Sites i år, oppnådde maskinen 44. plass – den høyeste plasseringen Norge har hatt siden listens opprinnelse.
I den anledning tok digi.no nylig turen til Trondheim for å få vite mer om superdatamaskinen og hva den brukes til.
Vilje består av 19,5 rack med til sammen 1404 noder. Hver av nodene har to Intel Xeon E5-2670-prosessorer basert på mikroarkitekturen «Sandy Bridge». Prosessorene er klokket til 2,6 GHz og har hver åtte kjerner som deler et L3 cacheminne på 20 megabyte.
Systemminnet til hver node er 32 gigabyte med DDR3 SDRAM klokket til 1600 MHz.
I alt har Vilje 22 464 prosessorkjerner, noen flere enn da ytelsen ble målt med Linpack til 396,70 teraflops. Maskinen har senere blitt optimalisert, og stabilitetstestingen er ennå ikke fullført.
Alle nodene til Vilje er forbundet ved hjelp av Infiniband. Operativsystemet er Suse Linux Enterprise Server 11.
Arve Dispen er sjefingeniør ved NTNU og har vært systemadministrator for universitets superdatamaskiner helt siden begynnelse – Cray X-MP-maskinen som ble installert i 1986. Han forteller at dagens Vilje er en million ganger kraftigere enn dette Cray-systemet.
Dispen forteller at Vilje ved full belastning trekker rundt 650kW. Dette er litt mer enn Njord, den IBM Power5-baserte superdatamaskinen som NTNU anskaffet i 2006. Etter flere ombygninger kunne Njord levere en ytelse på 23 teraflops, altså bare en brøkdel av Vilje.
For å sikre Vilje mot strømbrudd, er maskinen koblet til to avbruddsfri strømforsyninger (UPS) som hver har en kapasitet på 800 kVa, samt et 2000 hestekrefters dieselaggregat. Maskinen skal ha kostet 35 millioner kroner.
Men i forbindelse med Njord investerte NTNU 25 millioner i et kjøleanlegg som nå brukes av Vilje. I dag brukes spillvarmen til å varme opp Realfagsbygget, men det er planer om å utnytte varmegjenvinningen slik at det kommer hele NTNU til gode.
Behovet
En superdatamaskin som Vilje brukes selvfølgelig ikke bare til å skape varme. Anne Cathrine Elster, førsteamanuensis ved NTNUs Institutt for datateknikk og informasjonsvitenskap (IDI) er grunnlegger og sjef for IDIs HPC-lab (Heterogenous & Parallel Computing). Hun forteller til digi.no at hovedoppgaven til Vilje vil være operativ værmelding i samarbeid med Meteorologisk Institutt. Beregningene som Vilje skal gjøre, vil brukes av yr.no.
Elster forteller at ved simulering av vær, kan man ikke gjøre masse uavhengige simuleringer, fordi det er veldig mange faktorer som er avhengig av hverandre.
– Slike simuleringer stiller veldig store krav til utvekslingen av data i hele systemet, både mellom brikker, noder og rack. Vanlige klynger har ikke rask nok forbindelser, forteller Elster.
Stabiliteten til systemet anses også som svært avgjørende, fordi operativ værmelding er svært tidskritisk.
– Man må få simulert ting i tide. Da kan man ikke ha en maskin som stuper stadig vekk. Folk på IT stresstester maskinen. Etter det første settet med tester, følte man at maskinen ikke var stabil nok. Derfor har man måttet kjøre nok et sett med tester, forklarer Elster.
Men Vilje skal ikke bare brukes til værmelding. Én av de aller første som har fått bruke Vilje, er ph.d.-stipendiat Jørn Kraavik Skogsrud. Han driver med nanomekanisk testing av materialer i veldig liten skala.
– Det dreier seg blant annet om veldig store simuleringer innen blant annet molekylærdynamikk, hvor mange ting avhenger av hverandre, inkludert interaksjon mellom mange atomer, forteller Skogsrud.
De nye, atomistiske modellene som nå kjøres på Vilje, rommer 200 millioner atomer. De gjør det mulig å lage beregninger med samme prøvedimensjoner som man kan lage på NTNU NanoLab ved hjelp av Focused Ion Beam.
Målet er å forbedre eksisterende materialer eller å utvikle nye.
– Jeg jobber mest med metaller som stål og nikkel sammen med hydrogen, som påvirker metaller det kommer i kontakt med. Man bør helst ha ikke-korroderende materialer som ikke blir påvirket av hydrogen, sier Skogsrud. Det er mange industripartnere knyttet til forskningen.
– Vi er også deltakere i EU-prosjektet MultiHy som studerer materialer for fremtidens biler, vindturbiner og romfart.
Skogsrud sier at han er heldig som har fått tilgang på mye regnekraft fordelt på få brukere nå som Vilje ennå ikke er åpnet for allmenn bruk. Det er spesielt viktig for norske forskere som ikke har tilgang til stort og dyrt forskningsutstyr å kunne få tilgang til nok regnekraft for å kunne henge med internasjonalt.
Kompilatorer
– Jeg ser på bitte små kodebiter og hvor bra ulike kompilatorer er til å oversette disse til programmer som er raske. Noen kompilatorer kan gi veldig varierende ytelse for små forandringer i antall elementer som beregnes, mens andre ikke gjør dette. I tillegg varierer det hvor dette skjer fra versjon til versjon, sier Rune Erlend Jensen, stipendiat ved HPC-laben.
– Særlig nyere kompilatorer er bedre på nettlesere også videre, men ikke nødvendigvis så bra på HPC. Målet er å finne en som er effektiv over hele linjen, som bruker de ulike, gode egenskapene fra de forskjellige kompilatorene som eksisterer, forteller Jensen.
I dette arbeidet må Jensen kjøre en mengde småprogrammer mange tusen ganger, på tvers av ulike kompilatorer, inkludert Intels C kompilator, GCC og Open64.
– For tiden tester jeg hundrevis eller kanskje flere tusen programmer i sekundet, for å kartlegge forskjellene, forteller Jensen. Han nevner også at han jobber med SQL-spørringer som er så store at de dekker et helt A4-ark for å kunne hente ut meningsfylte data fra alle kjøringene.
– GCC er veldig bra på kompleks kode. Dette skyldes trolig at gcc brukes mye innen forskning. Men det er veldig få som jobber med de enkle tingene, og ingen betaler for denne utviklingen, sier Jensen, som har jobbet fire måneder ved CERN og har hatt ukentlig telefonmøter med Intels kompilatorgruppe.
Jensen jobber også med OpenMP, en C/Fortran-basert utvidelse for multiprosessering med delt minne, hvor kompilatorene skal oversette kode slik at den kan kjøres på flere kjerner. Man kan gi kompilatoren ulike instrukser, og Jensen har gjort en del interessante og overraskende observasjoner, blant annet at det noen ganger går raskest dersom man ber kompilatoren kjøre på én kjerne.
Snø
Digi.no omtalte i 2008 HPC-laben snøsimulator. Denne har siden blitt kraftig forbedret og kan i sanntid simulere hvordan vinden påvirker opptil fire millioner snøfnugg. Potensielle brukere er flyplasser og veivesenet, siden simulatoren for eksempel kan beregne hvor snøen vil legge seg, for eksempel på en vei som går gjennom et bestemt landskap.
Under besøket vårt ble simulatoren kjørt på en kraftig arbeidsstasjon som viste en stereoskopisk framstilling av snøværet.
Mye av forskningen som gjøres ved HPC-laben, involverer bruk av GPU-er (grafikkprosessorer). Elster forteller at HPC-laben har fått en del utstyr fra Nvidia, AMD og andre etter at snøsimulatoren ble kjent. I fjor ble NTNU et offisielt «NVIDIA CUDA Teaching Center» (CUDA = Nvidias Compute Unified Device Architecture). I år har Elsters HPC-Lab fått en million kroner fra NTNU til å kjøpe datautstyr.
– Det rekker godt siden vi selv bygger opp PCene og serverne våre fra topp-komponenter inklusive skikkelige grafikkort. Det er morsomt utstyr å bruke, mener Elster.
Mange av studentene som er tilknyttet HPC-laben er mastergradsstudenter, men laben består også av flere doktorgradsstudenter, de fleste norske, noe som er uvanlig i dag innen IKT.
– Det er en veldig konkurranse fra næringslivet om studenter som kunne ha tatt doktorgrad. Jeg er derfor stolt over å har rekruttert så mange oppegående norske studenter, sier Elster.
Doktorgradsstudentene ved laben jobber særlig med emner relatert til medisin og olje- og gassindustrien.
– Vi har veldig gode miljøer her på NTNU innen disse fagfeltene. I tillegg har vi samarbeidsprosjekter med blant annet St. Olavs Hospital og Statoil. Vi kan ikke bli eksperter på alt. Vi må velge ut det vi er gode på i Norge, forteller Elster.
Mastergradsstudentenes prosjekter skjer ofte samarbeid med andre miljøer på NTNU. Under en rask omvisning fikk digi.no se blant annet at studenter jobbet simulering av solpaneler og hvordan disse mest effektivt kan stilles inn i forhold til solen, kartlegging av røntgen-difraksjonsmønstre som kan brukes til gjenkjenning av ulike materialer, samt medisinsk bildesimulering, blant annet for sanntidsnavigering i lungeforgreninger.
Prosessorer
Digi.no fikk også høre litt om forskningen til Magnus Jahre og Gunnar Tufte, som begge er førsteamanuensiser ved IDIs faggruppe for datamaskinarkitektur og -design.
– Samlet forsøker vi å lage energieffektive datasystemer. Vi har blant annet laget en 48 kjerners hjemmemekket prosessor. Vi ser dessuten på utfordringer ved å lage programvare for framtidens plattformer, forteller Jahre, som legger til at FPGA-er (Field-Programmable Gate Array) gjør det mulig å lage mange ulike varianter av prosessorer for å se hvordan disse påvirker programvare.
Ifølge Jahre er det planer om å bruke Vilje til simulering av en del av arkitekturene.
– Til dette har vi et tilnærmet umettelig behov for datakraft, forteller Jahre.
Tufte jobber på sin side med radikal grunnforskning innen ukonvensjonelle datamaskiner, blant annet laget av andre materialer enn silisium. Det dreier seg blant annet datamaskiner som kan bygge eller endre selv seg. Detaljer om denne forskningen finnes blant annet her.
Les også:
- [17.09.2014] Kjøper Nordens heftigste datamaskin
- [16.12.2013] Tallknuser hindret katastrofe
- [17.06.2013] Kina gjenerobrer superdata-toppen
- [15.11.2012] Nå simulerer den menneskehjertet
- [13.11.2012] «Titan» inntok superdata-toppen
- [29.10.2012] Her er verdens kraftigste datamaskin
- [18.06.2012] Har levert verdens kraftigste datamaskin
- [24.06.2011] Skal bygge Norges kraftigste supermaskin
- [10.12.2010] Trondheim skal få ny tallknuser
- [04.12.2008] Imponerte Nvidia med snøsimulering
- [29.10.2008] NTNU vil lage de kuleste pc-ene
- [07.10.2008] Vant topplassering på programmering
