AI-boomen krever ny lagringsarkitektur: – Tradisjonelle systemer bremser bedriftene
Kunstig intelligens (AI) er i ferd med å bli en av de viktigste drivkreftene for innovasjon og konkurransekraft. Samtidig viser ferske analyser at virksomheter som ikke moderniserer datahåndteringen sin nå, risikerer å bli hengende etter.
– Utdatert lagringsteknologi holder AI-satsingen tilbake. Du får verken den ytelsen eller skalerbarheten du trenger, sier Halvor Singh-Evensen, salgssjef i Cloudian.
Cloudian, en internasjonal leverandør av objektlagring for bedrifter, har spesialisert seg på on-prem, S3-kompatibel objektlagringsprogramvare for å møte behovene innen AI. Singh-Evensen har ansvar for Norden og Benelux, og er derfor stadig på reisefot.
I samarbeid med NVIDIA introduserte Cloudian nylig GPUDirect-støtte direkte mot on-prem S3-kompatibel lagring – en nyvinning som gir overlegen ytelse.
– Dette er svært relevant for de aller fleste – både i finans, energi, detaljhandel og hedgefond. Cloudian jobber allerede tett med alt fra noen av verdens største franchisekjeder til Formel 1-lag, poengterer han.
Fra siloer til skalerbar datalake
Tradisjonelle lagringsarkitekturer er ikke utviklet med dagens behov i tankene. Fil- og blokklagring fungerte greit tidligere, men AI-modeller krever nå tilgang til enorme mengder ustrukturerte data. Eldre løsninger har dermed nådd sin naturlige begrensning.
– Tradisjonell lagring har blitt en hemsko. Sitter du fast i gamle datasiloer, mangler du både skalerbarhet og ytelse, sier Singh-Evensen.
AI-trening i dag kan kreve flere petabyte med komplekse data, som video, bilder og sensordata. I nær fremtid vil dette vokse til hundrevis av petabyte.Da må du ha en arkitektur som vokser i takt med behovene, uten kostbare migrasjoner og flaskehalser.
– Ved å samle alle data i en S3-kompatibel datalake unngår man fragmenterte systemer. Arkitekturen kan enkelt utvides ved å legge til flere noder, slik at AI-modellene får direkte tilgang til store mengder rådata – uten tidkrevende infrastrukturendringer, forklarer Singh-Evensen og fortsetter:
– I tillegg reduseres behovet for proprietære, kostbare fil- eller blokkløsninger. Ofte kan man kutte kostnadene med 60–70 prosent sammenlignet med tradisjonelle metoder.
Artikkelen fortsetter under bildet.
Klar for AI med GPUDirect-tilgang
Et avgjørende punkt i AI-trening er å sikre rask og kontinuerlig dataflyt inn i GPU-ene. Avanserte modeller krever kontinuerlig tilførsel av data i høyt tempo. For å optimalisere dette har Cloudian, sammen med NVIDIA, lansert GPUDirect via direkte mot objektlagringen. Denne tilnærmingen omgår CPU-flaskehalser og leverer data svært effektivt til GPU-ene.
– GPUDirect for S3 er noe av det mest banebrytende vi har lansert. AI-applikasjoner kan nå hente data lynraskt, uten unødvendig belastning på CPU, sier Singh-Evensen.
Denne løsningen fjerner kompleksitet og gir en mer strømlinjeformet, skalerbar og robust infrastruktur, skreddersydd for AI. Dermed utnytter du ressursene bedre og får mer ut av hver maskinvareinvestering.
– Tradisjonelle GPU-oppsett er ofte bundet til proprietære filsystemer og kan trenge komplekse tilpasninger i operativsystemets kjerne. GPUDirect for S3 forenkler dette betraktelig, og gir rask, smidig tilgang til store datamengder uten behov for leverandørstyrte endringer i kjernen. Resultatet er kortere treningstider og raskere vei til innsikt og bedre sikkerhet, forklarer han.
Metadata som nøkkel til innsikt
En moderne, skyinspirert arkitektur gir ikke bare skalerbarhet, men også rik håndtering av metadata. Når store mengder ustrukturerte data samles i en S3-kompatibel datalake, gjør Metadata-merking det enklere å katalogisere og hente frem informasjon. Dette er avgjørende for AI- og maskinlæringsprosjekter, der evnen til å analysere enorme datamengder er kritisk.
– Rik metadata gir raskere søk og bedre dataorganisering, noe som igjen legger grunnlaget for mer presise AI-modeller. Med S3 API standarden får du sømløs integrasjon med eksisterende AI- og ML-verktøy. Du slipper å binde deg til én plattform og kan velge løsningene som passer best, sier Singh-Evensen.
Når metadatahåndteringen er innebygd i lagringssystemet, blir det enklere å koble på algoritmer og AI-biblioteker uten tidkrevende forarbeid. Dette øker fleksibiliteten og gjør at bedrifter raskt kan gå fra eksperimentering til ferdige produksjonsmodeller.
– Målet er å gjøre AI til en integrert del av dataarkitekturen, ikke en kostbar og separat spesialløsning. Ved å fjerne friksjon i dataflyten åpner man for hyppigere iterasjoner, raskere modelltrening og – til slutt – bedre forretningsinnsikt.
Hvem bør reagere nå – og hvordan komme i gang?
Trenden er tydelig i mange bransjer: Fra finans og offentlig sektor til detaljhandel og energi sitter virksomheter på enorme datamengder de ikke utnytter fullt ut. AI kan gi økt effektivitet, dypere innsikt og nye forretningsmuligheter – men bare hvis dataene er lett tilgjengelige og skalerbare.
– For alle med store datasett handler dette om å ta et oppgjør med gårsdagens infrastruktur. Ingen ønsker at AI-satsingen skal strande på grunn av dårlig ytelse, dyre migrasjoner eller komplekse, proprietære løsninger, sier Singh-Evensen.
En fremtidsrettet dataarkitektur basert på S3 API'n gjør at du kan fokusere på verdiskaping i stedet for tekniske hindringer.
– Vi vil hjelpe virksomheter med å bygge en infrastruktur som møter morgendagens krav. Det haster å ta grep, for AI er allerede her – og dataene dine må være klare, sier Singh-Evensen.
– Budskapet er tydelig: Ikke la utdatert lagring bremse utviklingen. Med riktig arkitektur og GPUDirect-teknologi kan du utnytte AI-potensialet fullt ut og stå sterkere i konkurransen fremover, avslutter han.
