IT-avdelingen er ikke lenger de eneste i organisasjonen med BI-kompetanse [«business intelligence», det vil si beslutningsstøtte og forretningsanalyse]. Det er en ny trend at flere og flere i bedriften kan sammenstille, analysere og visualisere dataene på egenhånd. De stiller stadig større krav til datavarehuset om rask levering og kravene endrer seg ofte i takt med forretningsutviklingen.
Hvordan kan IT-avdelingen holde følge med denne utviklingen? Hvordan kan vi utnytte bedriftens kunnskap om dataene? Hvordan kan vi jobbe mer smidig for å kunne involvere brukerne gjennom hele prosjektperioden?
_logo.svg.png){kind=logo}
Datavirtualisering er tilgjengeliggjøring av data for brukeren som om de er fysiske, uten at dataene er fysisk lagret. De fleste eksisterende datavarehusverktøy har funksjonalitet for å spesifisere logikken i et visuelt grensesnitt som gjør det enklere å bruke og gjør det mer visuelt tilgjengelig enn for eksempel ved SQL i et database-perspektiv.
Dette gjør virtualisering til en meget god teknikk for prototyping.
Start med å bygge prototypen virtuelt på rådata, og få tilbakemeldinger om forretningsregler på bakgrunn av enkel analyse. Utvid deretter løsningen til å laste data gjennom datavarehuset hvor ulike kilder blir bedre integrert og det legges på historisering der kunden ønsker det. Det virtuelle laget har et brukergrensesnitt som åpner for at de som kan forretningsreglene selv kan bidra i spesifiseringen av mappingdesign og logikk i datalasten.
Virtualiseringsverktøyene har også funksjonalitet som forenkler kildeanalyse, profilering og som automatisk gjenkjenner relasjoner i dataene. Disse nye «business intelligence»-maskinene som er kraftige og i stand til å håndtere mye data i minne, kan brukes til å strukturere store mengder ustrukturerte data, populært kalt Big Data.
Dette gir nye muligheter for sanntidsdata der store datamengder skal være tilgjengelig til enhver tid. Forretningsbrukerne kan dataene og det er de som er i best stand til analyse å spesifisere forretningsregler. Slipp disse brukerne løs på dataene på et tidligere tidspunkt.
I store datavarehus som integrerer mange kilder med store datamengder er det en utfordring med historikk i datavarehuset. Kanskje virtualisering av historiseringen er en mulighet med ny teknologi for «Massively Parallell Processing» (MPP) som samtidig behandler store datamengder i minne.
Flere med analytisk kunnskap i bedriften sammen med nye kraftige BI-maskiner reduserer behovet for strukturering og fysisk lagring av data. Men fortvil ikke. Det tradisjonelle datavarehuset har fortsatt sin plass i arkitekturen. De nye verktøyene gjør det bare lettere å jobbe mer smidig. Nye verktøy som lar oss virtualisere mer effektivt fungerer som et supplement til den lagdelte arkitekturen for at arbeidet med prototyper skal gå raskere og mer fleksibelt. Vi slipper å vente på lasting av data og at databaseadministrator skal gjøre endringer i den fysiske datamodellen, for eksempel sletting og flytting av data.
Om man velger en løsning med virtuelt datavarehus er det noen utfordringer man må være oppmerksom på.
Det blir enda viktigere med solid staging område med et arkivlag for å kunne gjenskape historikk dersom noe går galt eller om kravene endrer seg.
En annen utfordring vi som datavarehus-arkitekter og datamodellerere møter ved virtualisering er selve visualiseringen av dataflytene og relasjonene. I en fysisk datamodell kan du se fysiske tabeller med data i. Det virtuelle laget må tegnes inn i datavarehusarkitekturen, og relasjoner mellom virtuelle tabeller må tegnes i datamodellen. En tilgjengelig og synlig virtualisering av datamodellen er viktig for videreutvikling og gjenbrukbarhet. Dette gjelder også for de virtuelle tabellene.
Testing kommer til å bli enda viktigere ved virtualisering. Fordelen er at det er lettere å involvere forretningen i testplanleggingen og i selve testingen. De kan begynne allerede under prototypen.
De konservative beholder sine datavarehus som i dag, men kan se på virtualisering som et supplement til eksisterende løsning. De fremtidsrettede velger et virtuelt datavarehus.
Hvordan er det mulig? Det at vi kan bearbeide mye data i minne gjør at behovet for fysiske datavarehus blir mindre. Smidig arbeidsprosess og involvering av brukere og forretning ved hjelp av prototyping kan integrasjonslaget i datavarehuset mer og mer ses på som det viktigste for definisjoner og forretningsregler og at omstendelig fysiske lastejobber for historisering kan bli overflødig.
